English | 简体中文
BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎, 支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下的全域数据集成解决方案,目前服务于字节内部几乎所有业务线,包括抖音、今日头条等,每天同步数百万亿数据。
BitSail官方主页:https://bytedance.github.io/bitsail/
BitSail目前已被广泛使用,并支持数百万亿的大流量场景。同时在火山引擎云原生环境、客户私有云环境等多种场景下得到验证。
我们积累了很多经验,并做了多项优化,以完善数据集成的功能
Source[Input Sources] -> Framework[Data Transmission] -> Sink[Output Sinks]
数据处理流程如下,首先通过 Input Sources 拉取源端数据,然后通过中间框架层处理,最后通过 Output Sinks 将数据写入目标端
在框架层,我们提供了丰富的基础功能,并对所有同步场景生效,比如脏数据收集、自动并发度计算、流控、任务监控等
在数据同步场景上,全面覆盖批式、流式、增量场景
在Runtime层,支持多种执行模式,比如yarn、local,k8s在开发中
DataSource | Sub Modules | Reader | Writer |
---|---|---|---|
Assert | - | ✅ | |
ClickHouse | - | ✅ | - |
Doris | - | ✅ | |
Druid | - | ✅ | |
Elasticsearch | - | ✅ | |
Fake | - | ✅ | |
FTP/SFTP | - | ✅ | |
Hadoop | - | ✅ | ✅ |
HBase | - | ✅ | ✅ |
Hive | - | ✅ | ✅ |
Hudi | - | ✅ | ✅ |
LocalFileSystem | - | ✅ | |
JDBC | MySQL | ✅ | ✅ |
Oracle | |||
PostgreSQL | |||
SqlServer | |||
Kafka | - | ✅ | ✅ |
Kudu | - | ✅ | ✅ |
LarkSheet | - | ✅ | |
MongoDB | - | ✅ | ✅ |
- | ✅ | ||
Redis | - | ✅ | |
RocketMQ | - | ✅ | |
SelectDB | - | ✅ |
详情见:Connectors详细文档.
通过此链接可以直接下载并加入BitSail的Slack频道 link
当前,BitSail社区通过谷歌群组作为邮件列表的提供者,邮件列表可以在绝大部分地区正常收发邮件。 在订阅BitSail小组的邮件列表后可以通过发送邮件发言
订阅: 发送Email到此地址 bitsail+subscribe@googlegroups.com
,
你会收到一封回信询问你是否希望加入BitSail群组,Join This Group
按钮可能因网络原因无法使用,直接回复此封邮件便可确认加入。
开启一个话题: 发送Email到此地址 bitsail@googlegroups.com
取消订阅: 发送Email到此地址 bitsail+unsubscribe@googlegroups.com
欢迎加入BitSail微信群参与社区讨论与贡献
跳转环境配置.
跳转部署指南.
跳转参数指引.
跳转贡献者指引.
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。