Fire框架是由中通大数据自主研发并开源的、专门用于进行Spark和Flink任务开发的大数据框架,可节约70%以上的代码量。首创基于注解进行Spark和Flink任务开发,具备实时血缘、根因诊断、动态调优、参数热调整等众多平台化功能。Fire框架在中通内部每天处理数据量高达数千亿,在外部已被数十家公司所使用。
最近更新: 3年多前🔥🔥🔥 Apache SeaTunnel 是一个云原生数据集成平台,支持海量数据离线、实时同步的超高性能同步,每天可以稳定高效同步数百亿数据,已在字节跳动、滴滴、腾讯云、B 站、360、Shopee 等百家公司生产上使用 下载部署版请去官网:https://seatunnel.apache.org
最近更新: 接近4年前打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。
最近更新: 接近4年前Ip2region (2.0 - xdb) 是一个离线 IP 数据管理框架和定位库,支持亿级别的数据段,10微秒级别的查询性能,提供了许多主流编程语言的 xdb 数据管理引擎的实现。
最近更新: 4年前EsClientRHL是一个可基于springboot的elasticsearch 客户端调用封装工具,通过elasticsearch官网推荐的RestHighLevelClient实现,内置了es索引结构工具、es索引数据增删改工具、es查询工具、es数据分析工具或者es用法脚手架,能够轻松集成并非常方便的使用。
最近更新: 4年多前Pallas是唯品会统一的检索平台,基于ElasticSearch深度定制,解决关系数据库和NOSQL均无法有效处理的文本检索打分,模糊查询,数据多关键字组合查询,聚合等问题场景。 功能包括 ES可视化管理监控,基于Cerebro,bigdesk,sense。通过访问http://localhost:8081 就能全拥有了。 ES模板管理,基于索引粒度 增删改查、渲染DSL、在线调试 批量导入导出 include语法, json 美化,高亮语法 模板审核机制,灰度上线 新旧版本对比 深度整合MySQL和ES 基于db schema自动生成Field mapping 通过elasticsearch-sql自动转化SQL到ES DSL。 数据同步(全量、对账、增量),基于saturn 和 rdp,这块很快会开源。 ES http协议代理 基于netty和filter链模式代理http请求 完善的服务治理:路由、超时重试、流量录制、索引和模板灰度、基于token的鉴权 配合使用client-sdk,能做到负载均衡、自动容错 Pallas的ES插件,线上热插拔 Extends from Abs
最近更新: 4年多前Exchangis是微众银行开源的轻量级数据交换平台,用于数据在不同存储介质中快速传递,并解决数据交换过程中面临的复杂性、兼容性等问题。设计上采取微服务架构形态,上下层服务松耦合,易于进行个性化的,高拓展性的迭代开发。
最近更新: 4年多前