# yys

**Repository Path**: guibinbin/yys

## Basic Information

- **Project Name**: yys
- **Description**: yys自动化学习软件
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2026-05-30
- **Last Updated**: 2026-05-30

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 🕷️ 网站全站爬取与父子链接关系构建工具

> 基于 Python 的智能网站爬虫，支持静态/智能/浏览器三种模式，自动深度遍历网站并导出结构化 Markdown 文件

[![Python](https://img.shields.io/badge/Python-3.9+-blue.svg)](https://www.python.org/)
[![Platform](https://img.shields.io/badge/Platform-Windows-green.svg)]()
[![Version](https://img.shields.io/badge/Version-v3.5-orange.svg)]()
[![Gitee](https://img.shields.io/badge/Gitee-仓库地址-red.svg)](https://gitee.com/guibinbin/yys)

---

## ✨ 功能特性

| 特性 | 说明 |
|------|------|
| 🔍 全站深度爬取 | 从种子 URL 出发，BFS 广度优先遍历同域名下所有页面 |
| 🌲 父子关系追踪 | 每个页面记录来源（父 URL），可还原网站逻辑树状结构 |
| 🧠 智能模式 | 自动检测 JS 动态网站，直接调用后端 API 获取结构化数据 |
| 🖥️ 浏览器模式 | 基于 Playwright 模拟真实浏览器，支持任意 JS 渲染网站 |
| 📝 HTML 转 Markdown | 自动将网页正文转换为易读的 Markdown 格式 |
| 📊 元数据嵌入 | YAML Front Matter 记录 URL、标题、深度、父链接、时间戳 |
| 🔎 关键字搜索攻略 | 输入式神名或关键词，自动搜索对应攻略并保存为 Markdown |
| 📖 纯文字攻略提取 | 直接提取攻略文章文字内容，无需 OCR，准确率 100% |
| 🚀 GPU 加速 OCR | 支持 NVIDIA GPU 加速 OCR 推理（通用图片识别场景） |
| 🎮 阴阳师式神录 | 一键获取 269 个式神的完整资料（属性/技能/传记/攻略/CV） |
| 🖱️ GUI 可视化 | Tkinter 图形界面，一键开始/停止，实时日志输出 |
| 📦 EXE 打包 | PyInstaller 单文件打包，双击即用，无需安装 Python |

---

## 🚀 快速开始

### 方式一：直接运行 EXE（推荐）

下载 `release/网站全站爬取工具v3.5.exe`，双击运行即可。

### 方式二：从源码运行

```bash
# 创建环境
conda create -n crawler-env python=3.9 -y
conda activate crawler-env

# 安装依赖
pip install requests beautifulsoup4 html2text

# 可选：安装本地 OCR 支持（通用图片识别场景）
pip install rapidocr-onnxruntime

# 可选：安装 GPU 加速 OCR（需 NVIDIA 显卡）
pip uninstall onnxruntime -y
pip install onnxruntime-gpu

# 可选：安装浏览器模式支持
pip install playwright && playwright install chromium

# 运行
python site_crawler.py
```

### 关键字搜索攻略

在 GUI 的「关键字搜索攻略」区域，输入式神名（如"桃花妖"）或关键词（如"御魂搭配"），点击「搜索攻略」即可自动搜索并保存结果。

---

## 🎮 阴阳师式神录 — 使用示例

### 方式一：全量爬取

1. 启动工具，输入 `https://yys.163.com/shishen/index.html`
2. 选择「智能模式 (推荐)」
3. 点击「开始爬取」
4. 自动获取 269 个式神的完整资料

### 方式二：关键字搜索攻略

1. 在「关键字搜索攻略」区域输入式神名（如"桃花妖"）
2. 设置最多篇数（默认 10）
3. 点击「搜索攻略」
4. 自动搜索匹配的攻略并保存为 Markdown

**每个式神的输出包含：**

```markdown
# 阿香

## 属性数据
| 属性 | 觉醒前 | 觉醒后 | 变化 |
|------|--------|--------|------|
| 攻击 | 135.9 | 149.9 | +14.0 |
| 生命 | 907.1 | 992.4 | +85.3 |

## 技能
### 蛇卒·毒牙（普攻）
阿香驱使蛇卒对敌方目标造成攻击100%伤害。

## 玩家攻略
### 阴阳师主流四治疗大盘点！
作者：秋瓷的好爸爸
（纯文字攻略内容，无需 OCR）
```

---

## 🛠️ 三种爬取模式

| 模式 | 原理 | 适用场景 | 依赖 |
|------|------|----------|------|
| **智能模式** | 分析前端 JS，直接调用后端 API | 阴阳师式神录等 JS 动态网站 | 无额外依赖 |
| **静态模式** | requests + BeautifulSoup + BFS | 传统静态网站（文档站、博客） | 无额外依赖 |
| **浏览器模式** | Playwright 模拟真实浏览器 | 任意 JS 渲染网站 | 需安装 Playwright |

**智能模式决策流程：**

```
输入 URL → 匹配 API 规则？
    ├── 命中 → 调用列表 API → 逐个调用详情 API → 纯文字提取攻略 → 格式化输出
    └── 未命中 → 回退到静态模式
```

**关键字搜索流程：**

```
输入关键字 → 匹配式神名称？
    ├── 命中 → 获取该式神攻略列表 → 逐个提取纯文字内容 → 保存 Markdown
    └── 未命中 → 在所有式神攻略标题中搜索关键字 → 提取匹配文章
```

---

## 📂 项目结构

```
site_crawler/
├── site_crawler.py          ← 主程序源码 v3.5（带阿里规范注释）
├── README.md                ← 项目说明（本文件）
├── release.md               ← 版本更新日志
├── 学习部署文档.md           ← 完整学习文档（含踩坑对比）
├── .gitignore               ← Git 忽略配置
└── release/
    └── 网站全站爬取工具v3.5.exe  ← 可执行文件
```

📖 **更多文档**：[版本更新日志](release.md) | [学习部署文档（新手推荐）](学习部署文档.md)

---

## 📋 版本迭代

| 版本 | 核心变更 |
|------|----------|
| **v1.0** | 初始版本：纯静态爬虫 + Tkinter GUI |
| **v2.0** | 新增智能模式：发现列表 API，爬取 HTML 详情页 |
| **v3.0** | 深度结构化：调用 5 个详情 API，输出属性对比表/技能/传记/CV |
| **v3.1** | 修复技能描述缺失，新增技能基本介绍/类型/鬼火消耗 |
| **v3.2** | 新增玩家攻略爬取 + 图片 OCR 文字提取（RapidOCR） |
| **v3.3** | 新增百度云 OCR 高精度识别，双引擎 OCR 策略 |
| **v3.4** | 新增 GPU 加速 OCR，自动检测 GPU，GUI GPU 开关 |
| **v3.5** | 攻略提取改为纯文字（去掉 OCR），新增关键字搜索攻略功能 |

> 详细变更记录见 [release.md](release.md)

---

## 🔧 技术栈

| 组件 | 用途 |
|------|------|
| Python 3.9+ | 核心语言 |
| requests | HTTP 请求 |
| BeautifulSoup4 | HTML 解析 |
| html2text | HTML 转 Markdown |
| onnxruntime-gpu | GPU 加速 OCR 推理（可选，NVIDIA 显卡） |
| Playwright | 浏览器自动化（可选） |
| Tkinter | GUI 界面 |
| PyInstaller | 打包为 EXE |

---

## ⚠️ 注意事项

- **遵守 robots.txt**：请尊重目标网站的爬虫协议
- **礼貌爬取**：内置 1 秒/页延迟，请勿随意删除
- **反爬限制**：对 Cloudflare 等反爬机制可能无法直接抓取
- **合法使用**：仅爬取你有权访问的内容
- **GPU 加速**：需 NVIDIA 显卡 + onnxruntime-gpu，GTX 1650 及以上推荐

---

## 📄 许可证

本项目仅供学习交流使用，请勿用于商业用途。