极客时间-Flink核心技术与实战

极客时间《Flink核心技术与实战》课程课件及代码

第一章：Apache Flink介绍

• 1.0 课程介绍
• 1.1 内容综述
• 1.2 流处理技术概览
• 1.2 Flink发展历史与应用场景
• 1.4 Flink核心特性

第二章：Flink部署与应用

• 2.1 Flink集群架构（6）
• 2.2 Flink集群运行模式（7）
• 2.3 Flink集群资源管理器支持（8）
• 2.4 Standalone原理讲解与实操演示（9）
• 2.5 Flink On Yarn部署讲解（10）
• 2.6 Flink On Yarn实操演示（11）
• 2.7 Flink On Kubernetes部署讲解（12）
• 2.8 Flink On Kubernetes实操-Session模式（13）
• 2.9 Flink On Kubernetes实操-Per-Job模式14
• 3.0 Flink On Kubernetes Native部署讲解15
• 3.1 Flink On Kubernetes Native实操演示16
• 3.2 Flink高可用配置原理讲解17
• 3.3 Flink高可用配置实操演示18

第三章：Flink DataStream API实践原理

• 3.1 分布式流处理模型19
• 3.2 DataStream API 实践原理20
• 3.3 Flink 时间概念21
• 3.4 Watermark实践原理22
• 3.5 Watermark与Window的关系23
• 3.6 Watermark Generator（24）
• 3.7 Windows窗口计算（25）
• 3.8 Window Assigner（26）
• 3.9 Window Trigger（27）
• 3.10 Window Evictors（28）
• 3.11 Window Function
• 3.12 Windows多流合并
• 3.13 Process Function应用
• 3.14 SideOutput旁路输出
• 3.15 Asynchronous I/O异步操作
• 3.16 Pipeline与StreamGraph转换
• 3.17 项目实战：基于DataStream API实现PV，UV统计

第四章：Flink状态管理和容错

• 4.1 有状态计算概念
• 4.2 状态类型及应用
• 4.3 KeyedState与OperatorState
• 4.4 RuntimeContext与RichFunction实现
• 4.5 StateBackends状态管理器
• 4.6 状态序列化操作
• 4.7 Querable State介绍与使用
• 4.8 Checkpoints与Savepoints应用
• 4.9 Checkpoints实现原理
• 4.10 项目实战：基于状态计算实现用户画像指标统计

第五章：Flink Table & SQL实践原理

• 5.1 Flink Table API/SQL介绍与使用
• 5.2 TableEnviroment 原理与实践
• 5.3 TableConnector注册与实现
• 5.4 TimeStamp与Watermark原理实践
• 5.5 Temporal Tables原理实践
• 5.6 维表关联实践
• 5.7 Catalog原理与使用
• 5.8 Apache Hive集成
• 5.9 自定义Scalar/Table/AggregationFunction
• 5.10 自定义TableSource/TableSink/TableFactory
• 5.11 Flink SQL数据类型系统
• 5.12 项目实战：基于Flink SQL实现Top 10商品统计

第六章：Flink Runtime设计与实现

• 6.1 Runtime整体架构
• 6.2 ResourceManager资源管理
• 6.3 Execution Environment分类
• 6.4 JobGraph提交与运行
• 6.5 ExecutionGraph生成与执行
• 6.6 SchedulerNG调度器
• 6.7 Excution调度执行
• 6.8 Task重启策略与容错
• 6.9 StreamTask线程模型
• 6.10 集群高可用实现

第七章：Flink监控与性能优化

• 7.1 Metric指标分类与采集
• 7.2 Flink RestAPI介绍与使用
• 7.3 日志配置与问题定位
• 7.4 Checkpoint监控与调优
• 7.5 反压监控与原理
• 7.6 Flink内存配置与调优
• 7.7 窗口与事件时间调试
• 7.8 HistoryServer服务

第八章：Flink组件栈介绍与使用

• 8.1 PyFlink实践与应用
• 8.2 SQL Client实践与应用
• 8.3 Flink复杂事件处理：Complex event process
• 8.4 Flink图计算支持：Gelly graph process
• 8.5 Alink机器学习框架介绍与使用
• 8.6 Stateful Function介绍与使用

第九章：项目实战-使用Flink构建推荐系统实时数据流

• 9.1 实时推荐系统架构设计与实现
• 9.2 基于Flink SQL构建用户画像
• 9.3 基于Flink DataStream API样本归因与拼接
• 9.4 基于Elastic Search存储用户物料画像数据
• 9.5 推荐系统实时物料召回
• 9.6 结束语

代码编译

mvn clean package -DskipTests