Apache Hudi(发音为“hoodie”)是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式引入服务、数据聚类/压缩优化和并发性,同时以开源文件格式保留数据。 Apache Hudi不仅非常适合流工作负载,而且还允许您创建高效的增量批处理管道。阅读文档以获取更多用例描述,并查看谁在使用Hudi,以了解世界上一些最大的数据湖(包括Uber,Amazon,ByteDance,Robinhood等)如何通过Hudi改变其生产数据湖。 Apache Hudi可以很容易地在任何云存储平台上使用。Hudi的高级性能优化,使分析工作负载与任何流行的查询引擎,包括Apache Spark,Flink,Presto,Trino,Hive等更快。
基于docker的三个节点的hadoop集群,并配置了hive和sqoop。 将创建镜像和创建容器的命令以及内部运行节点的命令封装了脚本,
WeDataSphere是微众银行的一套金融级、一站式、开源开放的大数据平台套件。基础平台由数据交换、数据分发、计算、存储四大层次组成,关注底层数据传输计算存储能力;功能平台由平台工具、数据工具、应用工具三大层次组成,关注用户各类功能工具需求实现。形成了完整的大数据平台技术体系,提供一站式的丰富数据平台组件及功能支撑。
Fastpay的目标是打造一款开源的、轻量级的、微服务化的、可公私有云部署的、可定制化的集成聚合支付和资金清结算于一体的统一支付系统,满足互联网企业业务系统的收款和资金处理等需求。
bigfans cloud是采用微服务模式开发的前后端分离的B2C电商网站,前端使用React+Ant Design开发