# Crawler_Kafka

**Repository Path**: NaoXiao/Crawler_Kafka

## Basic Information

- **Project Name**: Crawler_Kafka
- **Description**: 爬虫
-----爬取房天下信息
-----写入kafkan中
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2018-05-16
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

main.py 为程序入口

setting.py 配置文件
    设置爬取城市
    设置kafka的地址

Constart.py 代码中的部分字符串
    起始路径 BASE_URL
    获取User_Agent

kafka_db.py 连接es

get_esf_info.py 获取详细信息

get_htnl.py  获取网页HTML

ParesHtml.py  解析HTML

#### 安装依赖
```
pip3 install -r requirements.txt
```