# NewsCollector

**Repository Path**: cocashu/NewsCollector

## Basic Information

- **Project Name**: NewsCollector
- **Description**: 网页内容采集工具框架，基于python scrapy 框架开发的采集端，python开发的websocket  完成网页中的实时通讯，thinkphp 开发的网页前端
- **Primary Language**: Python
- **License**: EPL-1.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 2
- **Created**: 2017-09-21
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

上市公司新闻采集

web
	Web 后端和前端页面
spider
	爬虫和守护进程
alertServer
	报警服务
	
	
	
	
[ DB Server ]

[ Web Server ]
1.安装xampp集成php环境
2.配置apach文件路径
3.设置mysql密码
4.登陆数据库修改mysql中user表，把localhost改成%

[ Collect & Alert Server ]
  ...
  pip install psutil
  pip install pyquery

1、安装Python
2、安装连接mysql驱动程序 （mysql-connector-python-2.1.3-py2.7-win32.msi）
3、安装pywin32服务（pywin32-219.win32-py2.7.exe）
4、  安装zope.interface（zope.interface-4.1.3.win32-py2.7.exe）
5、安装pyOpenSSL（pyOpenSSL-0.15.1-py2.py3-none-any.whl）

     pip install pyOpenSSL-0.15.1-py2.py3-none-any.whl
6、 安装lxml（lxml-3.5.0.win32-py2.7.exe）
 7、安装 scrapy（Scrapy-1.0.3-py2-none-any.whl）
     pip install Scrapy-1.0.3-py2-none-any.whl8
8,html 解析库
	pip install pyquery
10，获取系统信息库  服务
	pip install psutil