# news_app_spider

**Repository Path**: bu_bai/news_app_spider

## Basic Information

- **Project Name**: news_app_spider
- **Description**: 针对央视新闻APP的时间链新闻内容进行多线程数据采集。
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-02-16
- **Last Updated**: 2022-03-08

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 多线程央视新闻app爬虫

#### 介绍
针对央视新闻APP的时间链新闻内容进行多线程数据采集。

#### 关键
1、利用datetime时间模块生成对应的时间戳以及日期；
2、将时间戳传入到列表页请求的params表单参数中；
3、提取列表页json数据的id，将id前四位字母转化为大写，否则新闻详情链接不存在；
4、将转化后的id、日期以及详情页链接进行拼接，请求，获取数据；
5、最后将获取到的字段数据存入mongodb数据库。

#### 注意
该项目仅用于学习用途，若他人用于商业用途请自行负责！！！