# data-integration

**Repository Path**: mymacloud/data-integration

## Basic Information

- **Project Name**: data-integration
- **Description**: 数据集成工具
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 1
- **Created**: 2024-01-26
- **Last Updated**: 2024-04-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 项目介绍
data-integration是一个满足各种异构数据源之间的实时增量同步、离线全量同步，分布式、可扩展的数据交换平台。
本项目基于神州优车开源的data-link改造 https://github.com/ucarGroup/DataLink

## 项目架构
* 典型Master-Slave式系统架构，Manager(Web管理)+Worker(工作节点)<br>
    a. Manager负责worker的负载均衡、集群的配置管理和系统监控<br>
    b. Worker核心功能是管理Task的生命周期，并配合Manager进行Re-Balance<br>
* Zookeeper：Manager的高可用需要依赖于Zookeeper，另外，Task会将运行时信息注册到Zookeeper
* Mysql：data-integration的运行需要依赖各种配置信息、以及在运行过程中会动态产生监控和统计数据，统一保存到Mysql中