# 国家统计局行政区划爬虫程序

**Repository Path**: czbaa/Division

## Basic Information

- **Project Name**: 国家统计局行政区划爬虫程序
- **Description**: 该Python程序用于提取国家统计局发布的全国省、地、县、乡、村五级行政区划数据并存入数据库。程序采用Scrapy框架进行开发。
经前几次测试程序不设置延迟的话总是运行一段时间就停止。设置延迟后爬取全部的数据用时大约15小时。
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-06-26
- **Last Updated**: 2023-06-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 国家统计局行政区划爬虫程序

#### 介绍
该Python程序用于提取国家统计局发布的全国省、地、县、乡、村五级行政区划数据并存入数据库。经前几次测试程序不设置延迟的话总是运行一段时间就停止。设置延迟后爬取全部的数据用时一个下午和一个晚上。

#### 软件架构
程序采用Scrapy框架进行开发。

#### 使用说明

1.  代码逻辑修改division.py
2.  数据库连接信息修改pipelines.py
3.  设置修改settings.py