🔥🔥🔥 Apache SeaTunnel 是一个云原生数据集成平台,支持海量数据离线、实时同步的超高性能同步,每天可以稳定高效同步数百亿数据,已在字节跳动、滴滴、腾讯云、B 站、360、Shopee 等百家公司生产上使用
下载部署版请去官网:https://seatunnel.apache.org
打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。
Apollo(阿波罗)是一个可靠的配置管理系统,适用于微服务配置管理场景。
微服务架构中高并发和高可用的神经组织利刃,提供了分布式限流、降级、熔断、重试和隔离的容错特性。并同时提供了SPI、过滤器、JWT、插件机制。此外还提供了很多小的黑科技(如:IP黑白名单、UUID加强版、Snowflake和大并发时间戳获取等)。
crazy-cloud提供统一认证中心,支持分布式部署和线性拓展,业务模块可直接在此基础上直接新建项目拓展服务。核心技术采用Eureka、Fegin、Ribbon、Zuul、Hystrix、security和oauth2等主要框架和中间件。基于SpringBoot和SpringCloud的项目建设,可直接应用于生产环境中。建设此项目的目的是个人兴趣,并把自己在项目使用和学习的东西做一个总结,并且分享给大家,减少开发踩坑。后续服务会不断升级和维护,欢迎大家一起探讨和学习。
基于Twitter的SnowFlake算法实现的高性能分布式ID发号器。支持手动或通过Zookeeper分配workerId。配置简单,操作简易。生成的id具备全局唯一,粗略有序,可反向解码等特性。
一个完善的Spark Streaming二次封装开源框架,包含:实时流任务调度、kafka偏移量管理,web后台管理,web api启动、停止spark streaming,宕机告警、自动重启等等功能支持,用户只需要关心业务代码,无需关注繁琐的技术细节,大大提高实时流开发效率和难度(附demo)。