天眼数据抓取项目

[TOC]

项目简介

• 项目说明 ：
  1. 抓取数据：破解登录的滑动验证码和机器人检测 - （机器人检测 还未破解）
  2. 数据模型转换 爬取的数据字典 转为 数据库映射类的模型
  3. 入库 存入数据库
• 项目数据库 ： mysql，当然也可以是其他数据库，只需要更改其config.py 文件中的相关配置。
• 项目源文件介绍：
  • main.py - 项目入口文件
  • models.py - 数据库实体
  • db_helper.py - 数据库操作根
  • file_helper.py - 文件操作
  • config.py - 项目配置
  • geetest2包 - 来自于github 开源项目 破解天眼的滑动验证码
  • spider.py - 爬虫程序
  • viewmodel.py - 继承自db_helper的BaseModel 根
• 项目运行产生的文件介绍：
  • senior_people.csv - 公司高管信息（包含所有维度）
  • illegals_data.csv - 公司违规信息（所有维度）

一、数据库设计

1. 数据库表及字段详解

company(公司表)

company_person(公司人员表)

executive_group(高管分组表)

company_executive(高管表)

salary_table(薪酬表)

company_illegals(公司违规处理表)

2. 数据库E-R图

二、数据抓取

1. 登录 获取cookie

2. 搜索（普通用户只能够访问前5页数据）

• 接口： https://www.tianyancha.com/search/p{}/key='company_name'

3. 获取公开的董监高数据

• 接口 ： https://www.tianyancha.com/pagination/seniorPeople.xhtml

4. 获取公司违规信息

• 接口：https://www.tianyancha.com/pagination/corpIllegals.xhtml

  违规信息太少了 根据上面的董监高接口猜出来的

三、相关截图

1. 运行截图

2. csv文件截图

3. 数据库截图

四、数据呈现

由于时间问题，这块内容未实现，下面只是一些想法

1. 数据展示 ： 用现在的数据可视化技术（python 数据分析）（js echart.js 图表库）比如可以做一个 公司高管薪资水平图表
2. 数据挖掘 ：处理分析公司的违规信息，做简单的公司风险预测（还没有尝试过）

五、免责声明

本项目仅仅只用与面试（某面试）若用于其他用途，请自行承担相关责任！！

六、可用性说明

1. 当前登录功能可用
2. 网页解析功能已失效（天眼查网站网页结构变化 现有代码无法解析）