# CeleryUtil

**Repository Path**: lodge/CeleryUtil

## Basic Information

- **Project Name**: CeleryUtil
- **Description**: 基于celery，实现类似airflow工具的功能流程。
搭建一套ETL处理流程的框架
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2019-06-11
- **Last Updated**: 2020-12-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# ETL处理

#### 介绍
基于celery，实现类似airflow工具的功能流程。
搭建一套ETL处理流程的框架

![ ](./process.jpeg)

#### 功能（待开发）

- 任务有重试功能

- 任务失败可以回调

- 任务之间，可以进行数据传递

- 定时执行一个工作流程，可搭建多个工作流程

- 重载功能，服务不用重启，自动将任务加载程序中运行

#### 运行

当前目录下执行
```
    celery -A celery_app worker --loglevel=info
    # 开启定时任务时候，需要启动
    celery -A celery_app beat
```
或
```
    celery -A celery_app worker -B --loglevel=info
```