Fire框架是由中通大数据自主研发并开源的、专门用于进行Spark和Flink任务开发的大数据框架,可节约70%以上的代码量。首创基于注解进行Spark和Flink任务开发,具备实时血缘、根因诊断、动态调优、参数热调整等众多平台化功能。Fire框架在中通内部每天处理数据量高达数千亿,在外部已被数十家公司所使用。
将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出等数据应用开发全流程场景需求。欢迎申请体验demo环境:https://sandbox.webank.com/wds/dss/#/register
《基于flink的电商业务实时监控系统》
本项目基于flink CDC、CEP等技术实现对电商业务数据的实时监控,主要分为商品评价监控、站点访问监控、订单实时监控和用户行为监控四大模块,UI界面利用各种图表对监控结果进行直观的显示,本项目还利用docker来简化环境搭建过程。
本人瓜哥,在IT行业摸爬滚打10+年,起始编程语言为Java,在该行业多年中,也积累了分布式系统、微服务、K8S容器编排、大数据、数据仓库等相关的项目经验。这是本人学习和总结的一些大数据相关知识点。希望大家共同学习提高。
商用产品开源,包括用户埋点数据采集、用户标签分群和画像、智慧运营、营销等。项目采用Nginx+Flume+kafka实现日志收集,Flink进行实时流处理,ClickHouse作为实时数仓,HDFS作为数据备份。
项目帮用户快速搭建CDP客户数据平台,实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其他终端埋点包。快速对接、快速应用。
项目主要模块
基于对电商用户行为数据的基本分类,我们可以发现主要有以下三个分析方向:
1. 热门统计
利用用户的点击浏览行为,进行流量统计、近期热门商品统计等。
2. 偏好统计
利用用户的偏好行为,比如收藏、喜欢、评分等,进行用户画像分析,给出个
性化的商品推荐列表。
3. 风险控制
利用用户的常规业务行为,比如登录、下单、支付等,分析数据,对异常情况
进行报警提示。
人人都会用的数据集成产品,并提供一站式、开箱即用的 DataOps 数据中台,大幅提高ETL实时数仓构建效率
Taier 名字由来中国古代十大名剑之一 —— 太阿。
Taier 是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。