# supply-python

**Repository Path**: somenzz/supply-python

## Basic Information

- **Project Name**: supply-python
- **Description**: 用Python来将数据从数据库导出来，供给其他系统使用，配置信息保存在了 Mysql 数据库。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-05-24
- **Last Updated**: 2022-09-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README


## 通用的供数程序 

这里是后端 Python 的实现。

文件说明：

- log.py 设置日志路径和格式
- supply.py 供数主程序
- tests.py 单元测试用例
- utils.py 业务无关的函数


## 实现思路

### 前端：

配置下需要数据的系统信息，比如传输方式，用户名，密码，存放路径。

系统信息之下再配置下供数的任务，比如取数的 sql，文件编码，字段分隔符等信息。

### 后端

执行 Python 程序时，需要一个任务编号，日期作为参数。

根据任务编号，获取其 sql，文件编码，字段分隔符 等信息，获取其目标系统的配置信息，比如传输方式，用户名，密码，存放路径等信息。

具体步骤：

1. 将数据导出到本地。

如果是 PostGreSQL，且不需要引号字符时，会使用 copy to 来加快导出速度，否则就是普通的查询导出。

2. 调用传输程序将数据传输到目标机器。

执行过程中会记录日志，更新对应任务的状态信息。


### 调度

将后端程序的执行做为一个任务放在调度平台，为其配置依赖关系。