# qccspider

**Repository Path**: amtech/qccspider

## Basic Information

- **Project Name**: qccspider
- **Description**: 企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 3
- **Created**: 2021-08-11
- **Last Updated**: 2021-08-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#企查查每日新增企业数据抓取

* 尚未完成的工作：
    * redis数据转存mysql
    * 代理池尚未设置
    * 企查查限制，每分钟请求大概不能超过30次，所有功能未加并发，请不要使用代理并发，会封账户的
    * 有些工作尚未完成，需要自己进行继续开发，可以找我要app的脱壳源代码，继续分析。
* 已经完成工作
    * 每天定时抓取
    * 自动刷新token
    * 省份、市的所有代码
    * token自动刷新
    * 根据地址自动将省份、市、区县进行分割
    * 所有数据存到redis里面
    * 可以自动登录，账号需要独立
    * getnewdata.py 项目主入口
    * other放城市和省份代码
    * common公用方法
    * getmoredata.py 获取更多的企业数据，包括经营范围、联系方式等
    * getnewdata.py 获取每日新增企业数据
    * 摒弃以前所用方法，采用新的思路
   ![话不多说，看图](https://github.com/zhaoboy9692/qccspider/blob/master/demo.png)