Apache InLong(应龙)是一个一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。
最近更新: 3个月前罗盘是一个大数据任务诊断平台,旨在提升用户排查问题效率,降低用户异常任务成本。 其主要功能特性如下: 非侵入式,即时诊断,无需修改已有的调度平台,即可体验诊断效果。 支持多种主流调度平台,例如DolphinScheduler、Airflow或自研等。 支持多版本Spark、Hadoop 2.x...
最近更新: 3个月前Dagster 是一个业务流程协调程序,旨在开发和维护数据资产,例如表、数据集、机器学习模型和报表。 声明要运行的函数以及这些函数生成或更新的数据资产。然后,Dagster 可帮助您在正确的时间运行函数,并使资产保持最新状态。 Dagster 旨在用于数据开发生命周期的每个阶段 - 本地开...
最近更新: 1年多前Apache Beam是一个统一的模型,用于定义批处理和流数据并行处理管道,以及一组特定于语言的SDK,用于构建管道和Runners,用于在分布式处理后端(包括Apache Flink,Apache Spark,Google Cloud Dataflow和Hazelcast Jet)上执行它们。
最近更新: 2年前