# weather_spider

**Repository Path**: chene2000/weather_spider

## Basic Information

- **Project Name**: weather_spider
- **Description**: 数据预处理的大作业
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-05-24
- **Last Updated**: 2021-08-30

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 数据预处理期末大作业
1 ~~采集内容包含一下内容之一~~

（1）通过https://www.8684.cn/ 完整爬取某个城市的**完整公交信息**并存入一个csv文件（要求输入URL后自动拿到所有线路信息）

（2）通过http://www.weather.com.cn/ 爬取某个城市的**天气信息**，并存入一个csv文件

（3）通过网站https://www.rcsb.org/爬取蛋白质结构信息进行存储，并下载相应文件

（4）通过网站http://www.wwpdb.org/爬取蛋白质结构信息进行存储，并下载相应文件

（5）通过网站https://bmrb.io//爬取蛋白质结构信息进行存储，并下载相应文件

（6）爬取股票信息及上市企业信息进行存储。

（7）其它经老师认可的信息，不要爬取没太大意义的信息。

2 数据存储

利用Hbase/Hive/ ES (elasticsearch)/ clickhouse等列存储的数据库存储爬取数据，能够更新数据

**更新还没做到**

3 ~~数据预处理~~

针对数据进行预处理操作，并设计不少于10条不同的统计信息

4 可以对视图信息进行可视化（不强制，加分）

5 可以设计一个简单的信息展示系统和界面（不强制，加分）