# 数据采集第3次作业 **Repository Path**: wwh246810/data-collection-assignment-3 ## Basic Information - **Project Name**: 数据采集第3次作业 - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-17 - **Last Updated**: 2026-11-17 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 第三次作业 · 数据采集(作业① / ② / ③) 本目录是第三次作业的完整提交,按课程要求分为三个文件夹,每个文件夹可独立运行。 | 文件夹 | 对应作业 | 技术路线 | 实际结果 | | --- | --- | --- | --- | | [`作业1/`](作业1/) | ① 中国气象网图片爬虫 | requests + BeautifulSoup,单线程 / 多线程 | 35 页,单线程 135 张 / 136.31 秒,多线程 135 张 / 35.31 秒 | | [`作业2/`](作业2/) | ② 东方财富股票行情 | Scrapy + XPath 页面确认 + 行情接口 + MySQL | 240 条沪深 A 股,MySQL 表 `eastmoney_stock` | | [`作业3/`](作业3/) | ③ 中国银行外汇牌价 | Scrapy + XPath + MySQL | 45 条外汇牌价,MySQL 表 `boc_fx_rate` | 每项作业的详细运行方法、字段说明和实现要点见各自目录下的 `README.md`。 ## 一、快速开始 ### 作业① 图片爬虫 ```bash cd 作业1 python 1.py # 单线程 python 1.1.py # 多线程 ``` 图片保存在 `作业1/images/`,下载 URL 会逐条打印在控制台。 ### 作业② 股票行情 ```bash cd 作业2 python 2.py --host 127.0.0.1 --port 3306 --user root --password 你的密码 ``` 数据库:`spider_db.eastmoney_stock`;JSON/CSV 在 `作业2/output/`。 ### 作业③ 外汇牌价 ```bash cd 作业3 python 3.py --host 127.0.0.1 --port 3306 --user root --password 你的密码 ``` 数据库:`spider_db.boc_fx_rate`;JSON/CSV 在 `作业3/output/`。 ## 二、运行环境 | 项目 | 版本 | | --- | --- | | Python | 3.12.10 | | Scrapy | 2.19.0 | | PyMySQL | 1.2.4 | | 数据库 | MariaDB 10.4.6(MySQL 协议兼容;代码同样适用于 MySQL 5.7/8.0) | | 依赖 | requests、beautifulsoup4、Scrapy;PyMySQL 已内置在 `作业2/vendor`、`作业3/vendor` | ## 三、展示图片 - 作业①:`作业1/任务图片/单线程运行结果.png`、`作业1/任务图片/多线程运行结果.png` - 作业②:`作业2/任务图片/运行结果.png`、`作业2/任务图片/前20数据.png` - 作业③:`作业3/任务图片/运行结果.png`、`作业3/任务图片/45具体数据.png` ## 四、数据与验证 | 作业 | 完整数据 | 数量证明 | | --- | --- | --- | | ① | `作业1/images/` 135 张 | `作业1/图片清单.csv` 135 行 + 两张运行截图 | | ② | `作业2/output/*.csv`、`*.json` 240 条 | `任务图片/运行结果.png` + `前20数据.png` + `sql/query.sql` | | ③ | `作业3/output/*.csv`、`*.json` 45 条 | `任务图片/运行结果.png` + `45具体数据.png` + `sql/query.sql` | ## 五、说明 ### 1. 作业②的 XPath 取舍 东方财富的行情列表页是 JavaScript 动态渲染的,HTML 中没有股票表格。工程中先用 XPath 解析页面标题/关键字确认页面结构,再请求页面背后的行情接口;当前网络无法直连东方财富 `push2` 接口,程序自动切换到新浪财经备用源。详细说明见 `作业2/README.md`。 ### 2. 作业①的图片数量 作业①的页数上限取学号 `102402135` 的后 2 位(35),图片上限取后 3 位(135), 已在 `作业1/common.py` 中写死为本次学号。 ### 3. 数据库密码 不要把真实数据库密码写进代码或提交记录;运行时通过命令行参数或环境变量 `MYSQL_PASSWORD` 传入。仓库中的示例命令使用本地测试密码。 ## 六、Gitee 提交 把 `作业1`、`作业2`、`作业3` 三个文件夹整体放入课程 Gitee 仓库,提交后把仓库/文件夹链接 填入作业平台。`作业2/vendor`、`作业3/vendor` 是内置的 PyMySQL 依赖,需要一起提交, 保证代码拿到后可直接运行。 ```bash git add 作业1 作业2 作业3 README.md git commit -m "第三次作业:图片爬虫 + 股票/外汇 Scrapy + MySQL" git push ```