# tlk-data-sync

**Repository Path**: common-api/tlk-data-sync

## Basic Information

- **Project Name**: tlk-data-sync
- **Description**: 专注于数据同步技术的开源项目，提供高效、可靠的数据传输方案，适用于多种环境与需求。
- **Primary Language**: Java
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-02-18
- **Last Updated**: 2025-08-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 🚀  流立方（StreamCube）

![系统架构图](https://example.com/your-image1.png)  
*系统架构概览：简单转换与复杂转换模块的协作流程*

这是一个功能强大的数据处理平台，多种数据源的支持和灵活的转换逻辑。系统分为 **简单转换** 和 **复杂转换** 两大模块，适用于从基础数据同步到复杂数据清洗、统计的全场景需求。

---

## 🌐 支持的数据源

| 类型             | 示例/说明                           |
|------------------|-------------------------------------|
| 关系型数据库     | MySQL, PostgreSQL, Oracle, SQL Server, SQLite 等 |
| NoSQL            | MongoDB, IoTDB，CLickHouse,HBase                      |
| 消息队列         | Kafka, RabbitMQ ,MQTT等                  |
| API 接口         | HTTP/REST 接口                      |
| 文件格式         | CSV, Excel等                 |

![数据源管理界面](docs/images/数据源管理.png)  
*数据源管理示例：支持主流数据库和文件格式的连接配置*

---

## 🧩 核心功能模块

### 一、简单转换（ETL 基础）

适用于常规的 **数据抽取-转换-加载（ETL）** 任务，操作简洁高效。

#### ✅ 核心功能
- **数据源管理**  
  集中管理所有连接，支持一键测试连接状态。
- **表管理**  
  浏览和编辑数据源中的表结构，预览数据内容。
- **数据源映射**  
  跨数据源字段级映射，支持自动/手动匹配。
- **规则脚本**  
  通过简单脚本定义字段转换规则（如类型转换、格式化）。
- **定时任务**  
  配置周期性执行任务（如每日凌晨同步数据）。
- **CDC 任务**  
  实时捕获数据库变更（新增、更新、删除），并同步到目标。
- **同步日志**  
  记录每次任务的执行状态、耗时和错误详情。

![简单转换流程](docs/images/CDC.png)  
*简单转换示例：定时任务与 CDC 任务的配置界面*

---

### 二、复杂转换（高级 ETL）

支持 **复杂数据清洗、聚合、脚本执行** 等高级功能，满足业务深度处理需求。

#### ✅ 核心功能
- **流程规划**  
  可视化拖拽式流程设计，支持多步骤组合（如：过滤 → 聚合 → 写入）。
- **流程日志**  
  详细记录每个步骤的执行状态和数据流变化。
- **数据聚合**  
  按字段分组统计（求和、平均值、计数等）。
- **字段处理**  
  支持字段重命名、拼接、拆分、正则提取等。
- **过滤器**  
  条件过滤数据（如：`age > 18 AND status = 'active'`）。
- **脚本执行**  
  嵌入式脚本引擎，支持 **JavaScript / Groovy / Python** 编写自定义逻辑。

![复杂转换流程](docs/images/流程图.png)  
*复杂转换示例：脚本执行与数据聚合的流程图*
![流程日志](docs/images/流程日志.png)
*复杂转换示例：流程日志流程模式*
![流程日志](docs/images/流程列表.png)
*复杂转换示例：流程日志列表模式*

---

## 📌 使用场景示例

| 场景                     | 功能应用                                                                 |
|--------------------------|--------------------------------------------------------------------------|
| **日志数据同步**         | 使用 CDC 任务实时同步 MySQL 日志表到 MongoDB。                          |
| **报表生成**             | 通过复杂转换模块对 CSV 数据进行聚合统计，生成 Excel 报表。               |
| **数据清洗**             | 利用 JavaScript 脚本清洗脏数据（如去除空格、格式标准化）。              |
| **API 数据集成**         | 通过 HTTP 数据源拉取外部接口数据，清洗后写入 IoTDB 时序数据库。          |

![使用场景示例](https://example.com/your-image5.png)  
*使用场景示例：API 数据集成的完整流程*

---

## 📊 系统优势

- **多源异构支持**：覆盖主流数据库、文件、API 和消息队列。
- **灵活配置**：简单任务图形化配置，复杂任务脚本化扩展。
- **实时处理**：CDC 任务实现毫秒级数据同步。
- **可扩展性强**：支持自定义插件或脚本扩展功能。

---

## 📦 快速开始

1. 添加数据源连接（数据库/API/文件等）。
2. 创建简单任务（同步、定时、CDC）或复杂流程（聚合、脚本）。
3. 查看日志并优化任务性能。

---

## 📞 有问题联系

- 📄 官方文档：待出
- 📩 邮箱支持：1257749237@qq.com