Martian的官方分布式组件,基于传染机制的分布式中间件,彻底不再需要注册中心了,微服务间的通信采用Rest风格,通信协议为http
FastDFS是一款轻量级的开源分布式文件系统,功能包括:文件存储、文件同步、文件上传、文件下载等,解决了文件大容量存储和高性能访问问题。特别适合以文件为载体的在线服务,如图片、视频、文档服务等等。FastDFS相关文章请搜索微信公众号:fastdfs
打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。
基于RabbitMQ的消息分发应用框架,基于RabbitMQ官方驱动(http://www.rabbitmq.com/dotnet.html)重度优化设计的应用框架。项目2015年已经应用到生产环境。基本功能介绍: 1、生产消息层面 1.实现集群多节点机制(非数据复制,而是异常时自动切换节点),目前实现的机制类似mongo的副本级集群模式。 2.节点异常切换时注意防止消息丢失,主要在管道关闭/连接关闭/推送瞬间异常时做了处理。 3.每个生产者通过一个长连接管道的方式进行通信,解决连接数超过极限导致rabbitmq异常错误,同时减少打开释放连接的资源消耗,使框架推送性能提升2-3个数量级. 4.修复实现集群时节点切换过程可能出现消息丢失的bug 5.生产者增加对象消息重载,通过二进制序列化反序列化解决类型转的问题 2、消费消息层面 1.通过订阅模式实现消费,同一节点下,消费者一个管道下进行,避免反复打开管道,大大提升消费性能。 2.框架层面实现了消费者插件化,便于部署消费者时可以基于实际情况增加或减少消费者 3.定义了两个消费者服务(影院端、总部端);消费者服务基于插件的方式实现消费者的热插拔(消费服务可以在运行状态,动态添加消费者插件,无须停止 重启服务) 4.每个消费者可以多线程订阅 5.框架层面增加性能报警,当消费者执行时间大于10秒时,增加警告日志 以上升级功能,已经全部经过测试。 补充:已经将log4net集成到框架中,实现根据业务将消费者的日志文件存储
一种为分布式数据库而设计的全局唯一 ID(主键)生成器。 本算法的实现参考了 Twitter Snowflake,但是在最后的 12 位您不仅仅可以使用随机数字,也可以通过指定字符串来获取哈希值。
Baidu Bigflow是一个允许编写分布式计算程序的接口,它提供了许多简单、灵活、功能强大的api