Fire框架是由中通大数据自主研发并开源的、专门用于进行Spark和Flink任务开发的大数据框架,可节约70%以上的代码量。首创基于注解进行Spark和Flink任务开发,具备实时血缘、根因诊断、动态调优、参数热调整等众多平台化功能。Fire框架在中通内部每天处理数据量高达数千亿,在外部已被数十家公司所使用。
将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出等数据应用开发全流程场景需求。欢迎申请体验demo环境:https://sandbox.webank.com/wds/dss/#/register
人人都会用的数据集成产品,并提供一站式、开箱即用的 DataOps 数据中台,大幅提高ETL实时数仓构建效率
本人瓜哥,在IT行业摸爬滚打10+年,起始编程语言为Java,在该行业多年中,也积累了分布式系统、微服务、K8S容器编排、大数据、数据仓库等相关的项目经验。这是本人学习和总结的一些大数据相关知识点。希望大家共同学习提高。
DataSphereStudio is a one stop data application development& management portal, covering scenarios including data exchange, desensitization/cleansing, analysis/mining, quality measurement, visualization, and task scheduling.
大数据学习文档、实战代码、源码解析、测试数据,包含python、mysql、shell、hadoop、hive、zookeeper、hbase、flume、kafka、spark、flink、dolphinscheduler、elasticsearch、sqoop、clickhouse
karate是唯一一款使用简单且包含接口自动化测试、性能自动化测试、UI自动化测试、mock服务等功能于一体的自动化测试框架,最大限度做到用例复用,追求极致开发体验。本仓库定期和官方同步