# django采集管理系统

**Repository Path**: tuhou/djangocaiji

## Basic Information

- **Project Name**: django采集管理系统
- **Description**: django采集管理系统 服务端
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2023-03-03
- **Last Updated**: 2023-03-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# django采集管理系统
https://gitee.com/chen1404276788/djangocaiji
#### 介绍
django采集管理系统-服务端

#### 软件架构
django + mysql + redis + celery

#### 服务端原理
服务端用来存放内容:
* 客户端信息
* 待采集url
* 采集源基本信息
* 数据清洗规则
服务端获取客户但数量,根据客户端数量为每个客户端推送任务,任务用包含:采集url,清洗规则,采集源基本信息

# flask 客户端
https://gitee.com/chen1404276788/flask-caiji
#### 软件架构
flask + mongodb

#### 客户端原理
* 保存服务端推送的任务
* 定时执行待完成的采集任务