# EasyCollect

**Repository Path**: chenhys/EasyCollect

## Basic Information

- **Project Name**: EasyCollect
- **Description**: 数据搜集服务，可以支持分片，mysql到mysql搬表，复杂查询结果导入表等操作
- **Primary Language**: Go
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2018-04-16
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

##### easyCollect 是一款数据搜集任务的程序。通过配置实现任务。
     配置两个数据库连接databaseA和databaseB
     可以实现以下逻辑：
    （1）简单的搬表。从databaseA的表X搬表数据到databaseB的表Y。支持表结构不一致的搬表。（做好映射即可）
    （2）配置复杂的sql语句，从databaseA查询出数据集，并入库到databaseB的表Y
    （3）配置复杂的sql语句，从databaseA查询出数据集，根据一些字段去uodate  databaseB的表Y中的每一条对应的数据
     任务类型有以下集中：
    （1）不配置cron ：为流式任务。需要通过人工去触发执行，执行过程中只要上一次执行查询出数据大于0条就会一直执行。直到没有数据再查询出来，适合简单搬表任务
    （2）配置了cron，也配置了isFlow":true，表示定时任务流式执行，执行过程中只要上一次执行查询出数据大于0条就会一直执行。直到没有数据再查询出来，适合简单搬表任务
    （3）配置了cron，没配置isFlow"或者配置了false。表示简单定时任务，触发后只执行一次，适合一天执行一次的数据搜集任务。
     任务分片支持：
     目前支持了本地分片。并未实现运上动态分片功能。
     配置了sharding-count，则任务会按照每一个分片去执行。分片会在sql中带入。
     注意：分片的任务不支持流式执行。
     
##### 通过配置config.json来扩展任务。
    使用方式：
    进入go/scr/EasyCollect 源码目录，执行 go build，获取一个可以执行的二进制文件，复制一份儿config文件夹，
    将 config.json.example复制一份儿为 config.json。修改配置文件的配置项，即可启动任务
    程序启动后，如没有log目录，或logs目录权限不够，可以手动创建一个logs文件夹
    
[配置文件详解](./doc/detail.md)
---
[作业类型](./doc/taskType.md)
---
[时间表达式](./doc/timescript.md)
---
[远程管理定时任务配置](./doc/zookeeper.md)
---