# SinaFinance_Crawler

**Repository Path**: yinzm/SinaFinance_Crawler

## Basic Information

- **Project Name**: SinaFinance_Crawler
- **Description**: 用来爬取个股新闻，例如http://vip.stock.finance.sina.com.cn/corp/view/vCB_AllNewsStock.php?symbol=sz000001页面中的新闻
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 1
- **Created**: 2018-03-08
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 新浪财经个股新闻爬虫

## 部署信息

1. 爬虫框架：scrapy
2. 爬虫拓展模块（实现分布式）：scrapy-redis
3. 数据库：redis, mongodb
4. python 2.7

## 功能介绍

该爬虫可以爬取个股页面所有的新闻信息，例如（http://vip.stock.finance.sina.com.cn/corp/view/vCB_AllNewsStock.php?symbol=sz000001 ）页面的中的新闻。爬取新闻的时间、标题、正文内容、新闻的url，将这些信息存入mongodb数据库。该爬虫实现了分布式，item去重功能。