KCETL

SeaTunnel是一个分布式、高性能的数据集成平台，用于海量数据的同步和转换（离线和实时）

Last updated: 10 months ago

一款基于分布式架构的高性能数据集成引擎，支持多种异构数据源间的数据同步，目前服务于抖音、今日头条等业务线，每日同步百万级数据。

Last updated: 10 months ago

Kestra 是一个可无限扩展的编排和调度平台，可创建、运行、调度和监控数百万个复杂的管道。

Last updated: 10 months ago

Apache InLong（应龙）是一个一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。

Last updated: 10 months ago

Apache DolphinScheduler是一个分布式和可扩展的开源工作流协调平台，具有强大的DAG可视化界面

Last updated: 10 months ago

流处理极速开发框架, 流批一体 & 湖仓一体的云原生平台, 一站式流处理计算平台

Last updated: 10 months ago

罗盘是一个大数据任务诊断平台，旨在提升用户排查问题效率，降低用户异常任务成本。其主要功能特性如下：非侵入式，即时诊断，无需修改已有的调度平台，即可体验诊断效果。支持多种主流调度平台，例如DolphinScheduler、Airflow或自研等。支持多版本Spark、Hadoop 2.x...

Last updated: 10 months ago

Dagster 是一个业务流程协调程序，旨在开发和维护数据资产，例如表、数据集、机器学习模型和报表。声明要运行的函数以及这些函数生成或更新的数据资产。然后，Dagster 可帮助您在正确的时间运行函数，并使资产保持最新状态。 Dagster 旨在用于数据开发生命周期的每个阶段 - 本地开...

Last updated: 2 years ago

Apache Beam是一个统一的模型，用于定义批处理和流数据并行处理管道，以及一组特定于语言的SDK，用于构建管道和Runners，用于在分布式处理后端（包括Apache Flink，Apache Spark，Google Cloud Dataflow和Hazelcast Jet）上执行它们。