个人学习笔记
jvm, java 并发, 设计模式, MyBatis, MySQL, Spring, SpringBoot, SpringSecurity, SpringClod, Redis, Kafka, Zookeeper, ...
基于scala和akka http封装的微服务框架
大数据学习文档、实战代码、源码解析、测试数据,包含python、mysql、shell、hadoop、hive、zookeeper、hbase、flume、kafka、spark、flink、dolphinscheduler、elasticsearch、sqoop、clickhouse
混合型科学大数据流水线系统,包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能
将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出等数据应用开发全流程场景需求。欢迎申请体验demo环境:https://sandbox.webank.com/wds/dss/#/register
项目主要模块
基于对电商用户行为数据的基本分类,我们可以发现主要有以下三个分析方向:
1. 热门统计
利用用户的点击浏览行为,进行流量统计、近期热门商品统计等。
2. 偏好统计
利用用户的偏好行为,比如收藏、喜欢、评分等,进行用户画像分析,给出个
性化的商品推荐列表。
3. 风险控制
利用用户的常规业务行为,比如登录、下单、支付等,分析数据,对异常情况
进行报警提示。
人人都会用的数据集成产品,并提供一站式、开箱即用的 DataOps 数据中台,大幅提高ETL实时数仓构建效率
Open-source high-performance RISC-V processor
Fire框架是由中通大数据自主研发并开源的、专门用于进行Spark和Flink任务开发的大数据框架,可节约70%以上的代码量。首创基于注解进行Spark和Flink任务开发,具备实时血缘、根因诊断、动态调优、参数热调整等众多平台化功能。Fire框架在中通内部每天处理数据量高达数千亿,在外部已被数十家公司所使用。