331 Star 2.5K Fork 882

AE86/DBSyncer

 / 详情

支持数据源文件类型

已完成
拥有者
创建于  
2022-04-29 17:02

支持采集文件作为数据源

场景:

1、用户将全量或增量数据定时写入文件中,希望提供监听文件变化的能力,解析增量或全量数据,并写入到目标源中。

2、采集规则

2.1 配置监听文件路径 /soft, 分割符号 |

/soft
   ../cloud_park.unl
   ../test.txt

2.2 将数据覆盖写入到目标源,默认行数据事件为UPDATE

2.3 支持的文件格式后缀,*.txt, *.unl

3、示例

cloud_park.unl

402880846c2ae91e016c3076d7b91459|1564181190560|比硕19停车场|...
402880846a508fc4016a54d6eb1401d5|1556201532119|比硕08停车场|...

配置监听文件

[
    {
        // 文件名
        "fileName":"cloud_park.unl",
        // 字段数据类型
        "fields":[
            {
                "name":"id",
                "typeName":"string",
                "type":12,
                "pk":true
            },
            {
                "name":"age",
                "typeName":"integer",
                "type":4
            },
            {
                "name":"count",
                "typeName":"long",
                "type":-5
            },
            {
                "name":"type",
                "typeName":"short",
                "type":5
            },
            {
                "name":"money",
                "typeName":"float",
                "type":6
            },
            {
                "name":"score",
                "typeName":"double",
                "type":8
            },
            {
                "name":"status",
                "typeName":"boolean",
                "type":-7
            },
            {
                "name":"create_date",
                "typeName":"date",
                "type":91
            },
            {
                "name":"time",
                "typeName":"time",
                "type":92
            },
            {
                "name":"update_time",
                "typeName":"timestamp",
                "type":93
            }
        ]
    },
    // 支持多个文件
    {
        "fileName":"test.txt",
        "fields":[
            {
                "name":"id",
                "typeName":"string",
                "type":12,
                "pk":true
            },
            {
                "name":"age",
                "typeName":"integer",
                "type":4
            }
        ]
    }
]

支持的数据类型:

序号 type typeName
1 12 string
2 4 integer
3 5 short
4 -5 long
5 6 float
6 8 double
7 -7 boolean
8 91 date
9 92 time
10 93 timestamp

评论 (7)

AE86 创建了任务
AE86 任务状态待办的 修改为进行中
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 修改了描述
AE86 任务状态进行中 修改为已完成
展开全部操作日志

建议支持.csv文件格式

新提个issues

你这些配置文件都需要配置在那个路径的哪个配置文件里也没说

作者这个项目是高可用吗?如果节点挂了,是否无缝切换

目前只提供了单机, 集群未来会提供。
虽然提供的是单机,假设宕机重启后,中间的数据仍然可以继续同步。

好的。加油我现在需要往Ignite上同步,想做成一个jar。本来想用下HA方案代码,你这不支持,自己想办法了。 我微信是ppgou88,作者有兴趣,一起讨论下

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(5)
376718 ghi 1660456020
Java
1
https://gitee.com/ghi/dbsyncer.git
git@gitee.com:ghi/dbsyncer.git
ghi
dbsyncer
DBSyncer

搜索帮助

A270a887 8829481 3d7a4017 8829481