# messagepush

**Repository Path**: Tommy8888/messagepush

## Basic Information

- **Project Name**: messagepush
- **Description**: 消息推送，集成各种第三方平台，微信小程序，公众号，短信...
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-01-26
- **Last Updated**: 2024-01-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Java

## README

java3y Austin 从零搭建（仅自己学习）
原项目地址：https://github.com/ZhongFuCheng3y/austin.git






<p align="center">
  <a href="#项目交流"><img src="https://img.shields.io/badge/JDK-8-red.svg" alt="jdk版本"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/SpringBoot-2.5.6-green.svg" alt="SpringBoot版本"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/Centos-7.6-blue.svg" alt="Centos版本"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/MySQL-5.7.x-orange.svg" alt="MySQL版本"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/maven-3.6.x-red.svg" alt="maven版本"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/ORM-SpringData JPA-blue.svg" alt="ORM框架"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/Cache-Redis-orange.svg" alt="ORM框架"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/分布式定时任务-xxljob-green.svg" alt="分布式定时任务"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/分布式配置中心-Apollo & Nacos-blue.svg" alt="分布式配置中心"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/分布式消息队列-Kafka & RabbmitMQ & RocketMQ-red.svg" alt="分布式消息队列"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/分布式日志采集-Graylog-orange.svg" alt="分布式日志采集"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/分布式计算引擎-Flink-red.svg" alt="计算引擎"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/监控组件-Promethus-blue.svg" alt="系统监控"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/监控可视化-Grafana-green.svg" alt="系统监控"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/系统部署-Docker & DockerCompose-yellow.svg" alt="部署"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/大数据环境-Hadoop-red.svg" alt="部署"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/数据仓库-Hive-orange.svg" alt="部署"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/大数据可视化-Metabase-green.svg" alt="部署"></a>
  <a href="#项目交流"><img src="https://img.shields.io/badge/前端页面-amis-red.svg" alt="前端"></a>
</p>


:fire:项目在线演示地址：[http://139.9.66.219:3000/](http://139.9.66.219:3000/)


## 消息推送平台austin介绍

**核心功能**：统一的接口发送各种类型消息，对消息生命周期全链路追踪。

**意义**：只要公司内部有发送消息的需求，都应该要有类似`austin`的项目。消息推送平台对各类消息进行统一发送处理，这有利于对功能的收拢，以及提高业务需求开发的效率。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c267ebb2ff234243b8665312dbb46310~tplv-k3u1fbpfcp-zoom-1.image)

## 使用姿势

**1**、创建需要发送的渠道账号

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1720f1e9c6b546a18b13a84fabe1f562~tplv-k3u1fbpfcp-zoom-1.image)

**2**、创建消息模板

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b387c53663d04796a20fda2d4ba925ac~tplv-k3u1fbpfcp-zoom-1.image)

**3**、测试发送消息是否正常

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e58637c9a00a482f91d1a84ab7a17c51~tplv-k3u1fbpfcp-zoom-1.image)

**4**、查看消息下发情况

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c2dd1369fa8a4f40abcbb5c02ed21893~tplv-k3u1fbpfcp-zoom-1.image)

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2b49be4a87f44621b5b916114b17bd28~tplv-k3u1fbpfcp-zoom-1.image)

**5**、亦可在新建模板时选择**定时任务**，通过上传[csv文件](https://www.yuque.com/office/yuque/0/2022/csv/1285871/1671865125068-b5385387-b4a4-41ac-a43e-bab54ee49d88.csv?from=https%3A%2F%2Fwww.yuque.com%2Fu1047901%2Fniffsu%2Fqqtese%2Fedit)和指定cron表达式实现下发消息

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/42ecf9c743bd4e3493e092d525cbffe7~tplv-k3u1fbpfcp-zoom-1.image)

## 部署姿势

austin项目**强依赖**`MySQL`/`Redis`/(**大概需要2G内存**)，**弱依赖**`kafka`/`prometheus`/`graylog`/`flink`/`xxl-job`/`apollo`/`hive`(**完全部署所有的服务，大概8G+内存**)。如果缺少相关的组件可戳：[安装相关组件教程](INSTALL.md)。


> 实在想要`clone`项目后不用自己部署环境直接在**本地**启动`debug`，我这提供了[会员服务](https://mp.weixin.qq.com/s/4cOhNG5JBSvBkbSKTfw7eQ)，**直连**部署好的服务器。

**1**、austin使用的MySQL版本**5.7x**。如果目前使用的MySQL版本8.0，注意改变`pom.xml`所依赖的版本

**2**、填写`application.properties`中`austin-database`对应的`ip/port/username/password`信息

**3**、执行`sql`文件夹下的`austin.sql`创建对应的表

**4**、填写`application.properties`中`austin.redis`对应的`ip`/`port`信息

**5**、以上配置信息都在`application.properties`文件中修改。(`prometheus`/`graylog`/`flink`/`xxl-job`/`apollo`/`kafka`/`hive`可选)

**6**、**austin前端管理系统部署**，戳[GitHub](https://github.com/ZhongFuCheng3y/austin-admin)或[Gitee](https://gitee.com/zhongfucheng/austin-admin)跳转至对应的仓库

**7**、（可选）正常使用**数据管理**(查看实时数据链路下发)需要将`austin-stream`的`jar`包上传至`Flink`，根据[部署文档](INSTALL.md)启动Flink。在打`jar`包前需要填写`com.java3y.austin.stream.constants.AustinFlinkConstant`中的`redis`和`kafka`的`ip/port`（注意：日志的topic在`application.properties`中的`austin.business.log.topic.name`。如果没有该topic，需要提前创建，并**使用Kafka**作为消息队列实现)

**8**、（可选）正常使用**定时任务**需要部署`xxl-job`，根据[部署文档](INSTALL.md)启动xxl的调度中心，并在`application.properteis`中填写  `austin.xxl.job.ip`和`austin.xxl.job.port`

**9**、（可选）正常使用**分布式日志采集**需要部署`graylog`，根据[部署文档](INSTALL.md)启动`graylog`，并在`application.properteis`中填写  `austin.grayLog.ip`。

**10**、（可选）正常使用**系统监控**需要部署`promethus`和`grafana`，根据[部署文档](INSTALL.md)配置`grafana`图表。

**11**、（可选）正常使用**动态配置中心**需要部署`apollo`，根据[部署文档](INSTALL.md)启动`apollo`，通过docker-compose启动需要在AustinApplication注入对应的ip和port(可看注释)。

**12**、（可选）正常使用**数据仓库**需要部署`hive`，根据[部署文档](INSTALL.md)通过`flink`把数据写入到`hive`中（`flink`环境也要安装好），将`austin-data-house`的`jar`包提交到`flink`执行

## 技术栈

| 技术栈                 | 实现                            |
| ---------------------- | ------------------------------- |
| **编程语言**           | **Java（JDK 1.8)**              |
| **项目管理工具**       | **Maven 3.x**                   |
| **集成开发工具**       | **IDEA 2022**                   |
| **部署服务器**         | **Centos 7.6**                  |
| **系统部署工具**       | **Docker & Docker-compose**     |
| **项目环境**           | **SpringBoot 2.5.6**            |
| **关系型数据库**       | **MySQL 5.7.X**                 |
| **缓存数据库**         | **Redis:lastest**               |
| **ORM框架**            | **SpringData JPA 2.5.6**        |
| **分布式定时任务框架** | **XXL-JOB v2.3.0**              |
| **分布式配置中心**     | **Apollo & Nacos**              |
| **消息队列**           | **Kafka & RabbitMQ & RocketMQ** |
| **分布式日志采集框架** | **Graylog**                     |
| **分布式计算引擎**     | **Flink 1.16.0**                |
| **监控采集组件**       | **Prometheus**                  |
| **监控可视化组件**     | **Grafana**                     |
| **数据仓库**           | **Hive 2.3.2**                  |
| **大数据环境**         | **Hadoop 2.7.4**                |
| **大数据可视化**       | **Metabase:lastest**            |
| **前端技术**           | **Amis**                        |

## 工程模块&系统流程

了解工程模块的职责，这对看项目代码的时候会有个比较清晰的认识：

| 工程模块                    | 作用                                                 |
| --------------------------- | ---------------------------------------------------- |
| **austin-common**           | **项目公共包：存储着项目公共常量/枚举/Bean**         |
| **austin-support**          | **项目工具包：对接中间件/组件**                      |
| **austin-cron**             | **定时任务模块：对xxl-job封装和项目定时任务逻辑**    |
| **austin-web**              | **后台管理模块：提供接口给前端调用**                 |
| **austin-service-api**      | **消息接入层接口定义模块：只有接口和必要的入参依赖** |
| **austin-service-api-impl** | **消息接入层具体实现模块：真实处理请求**             |
| **austin-handler**          | **消息处理逻辑层：消费MQ下发消息**                   |
| **austin-stream**           | **实时处理模块：利用flink实时处理下发链路数据**      |
| **austin-data-house**       | **数据仓库模块：消费MQ数据写入hive**                 |

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3d2257744d334f65bf5f55900d53d09c~tplv-k3u1fbpfcp-zoom-1.image)



## 里程碑


- [x] Maven+SpringBoot项目搭建
- [x] logback日志记录项目运行时信息，引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
- [x] 接入腾讯云渠道发送一条短信
- [x] 使用SpringData JPA将短信发送记录存储至MySQL
- [x] 使用SpringBoot接入Kafka
- [x] 利用责任链完成对接入层的请求进行封装（责任链模式）
- [x] 消费层实现数据隔离（线程池：生产者与消费者模式）
- [x] 通用去重消息功能（SpringBoot接入Redis并使用pipeline减少网络请求）
- [x] 配置服务器和docker容器以及SpringBoot应用的监控（prometheus+Grafana+auctuator）
- [x] 接入分布式配置中心完成 丢失消息、白名单以及账号配置（Apollo分布式配置中心）
- [x] 邮件渠道接入
- [x] 日志链路数据追踪 + 注解式打印日志（优雅打印日志以及数据埋点）
- [x] 接入GrayLog分布式日志收集框架
- [x] 引入前端低代码平台AMIS搭建后台管理页面
- [x] 接入分布式定时任务框架定时发送任务（xxl-job定时任务框架），编写上传文件接口并使用LazyPending批处理人群文件数据
- [x] 接入实时流计算平台（Flink），实时日志数据根据用户维度和消息模板维度清洗至Redis
- [x] 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
- [x] 优雅停机、动态线程池参数配置
- [x] 企业微信渠道接入
- [x] 夜间屏蔽次日早晨推送（xxl-job定时任务框架，另类的延时队列）
- [x] 钉钉渠道接入
- [x] 单机限流实现
- [x] 引入单测框架，编写部分单测用例
- [x] 接入微信服务号渠道(已有pull request代码，待调试)
- [x] 接入微信小程序渠道(已有pull request代码)
- [x] 接入PUSH渠道
- [x] 接入云片短信渠道，并短信支持流量配置，拉取腾讯云短信回执
- [x] 完成接入钉钉机器人渠道所有类型的消息
- [x] 完成接入钉钉工作渠道所有类型的消息，包括对文件素材的上传功能
- [x] Kafka消息支持tag过滤
- [x] MQ层支持可插拔，默认使用eventbus单机队列，Kafka变为弱依赖
- [x] 渠道账号改为读取数据库，优化短信回执拉取功能
- [x] 接入微信服务号渠道（发送模板消息）完成
- [x] 接入微信小程序渠道（发送订阅消息）完成
- [x] 测试环境完成微信服务号扫码登录功能
- [x] 测试环境docker-compose完成接入MySQL/Redis/Flink/xxl-job/Kafka
- [x] 在线演示第一版发布
- [x] 数据仓库模块完成
- [ ] 总体架构已完成，持续做基础建设和优化代码