# data-integration **Repository Path**: mymacloud/data-integration ## Basic Information - **Project Name**: data-integration - **Description**: 数据集成工具 - **Primary Language**: Java - **License**: Apache-2.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 1 - **Forks**: 1 - **Created**: 2024-01-26 - **Last Updated**: 2024-04-01 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README ## 项目介绍 data-integration是一个满足各种异构数据源之间的实时增量同步、离线全量同步,分布式、可扩展的数据交换平台。 本项目基于神州优车开源的data-link改造 https://github.com/ucarGroup/DataLink ## 项目架构 * 典型Master-Slave式系统架构,Manager(Web管理)+Worker(工作节点)
a. Manager负责worker的负载均衡、集群的配置管理和系统监控
b. Worker核心功能是管理Task的生命周期,并配合Manager进行Re-Balance
* Zookeeper:Manager的高可用需要依赖于Zookeeper,另外,Task会将运行时信息注册到Zookeeper * Mysql:data-integration的运行需要依赖各种配置信息、以及在运行过程中会动态产生监控和统计数据,统一保存到Mysql中