# em2

**Repository Path**: yeswater/em2

## Basic Information

- **Project Name**: em2
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: dev
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-09-24
- **Last Updated**: 2024-09-24

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 1、需求
    1. 抓取东方财务app中所有基金的相关信息内容（费率，原费率，单位净值走势，累计净值走势）
    2. 爬取的数据保存至本地服务器的mysql数据库
    3. 将该爬虫项目在docker中部署并运行并输出docker部署文档。

## 2、思路
    1. charles 代理移动端操作，继续获取数据的接口 url 和请求参数
    2. 通过 scrapy 自定义爬虫发送请求抓取数据
    3. 将数据存入 mysql

## 3、实现流程
1. 通过基金排行榜找到全量的基金
   - 返回数据: [基金排行榜数据](eastmoney/doc/json/基金排行榜.json)
2. 查询每个基金的详情
   - 返回数据: [基金详情数据](eastmoney/doc/json/基金费率.json)
3. 在详情中查找净值信息
   - 返回数据: [基金净值数据](eastmoney/doc/json/基金历史净值.json)
4. pipeline 入库

![img.png](eastmoney/doc/img/爬取基金费率信息.png)

![img.png](eastmoney/doc/img/爬取基金最新30条净值信息.png)
    
## 4、docker部署
[docker部署文档](eastmoney/doc/docker部署文档.md)

通过[docker-compose.yml](docker-compose.yml) 一键启动
![img.png](eastmoney/doc/img/docker-compose一键启动.png)