# binlog2Mq2ElasticSearch

**Repository Path**: zhangbin_java/binlog2Mq2ElasticSearch

## Basic Information

- **Project Name**: binlog2Mq2ElasticSearch
- **Description**: mysql数据实时同步至ElasticSearch
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 6
- **Created**: 2019-12-06
- **Last Updated**: 2023-06-07

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# binlog2Mq2ElasticSearch

#### 介绍
mysql数据实时同步至ElasticSearch

#### 软件架构
springboot2 + kafka + elasticsearch + mysql5.7


#### mysql数据实时同步到es原理  
1.  mysql、kafka、elasticsearch能够正常访问   
2.  使用mysql的登录账号密码配合binlog驱动能够监听到binlog日志   
3.  监听到binlog日志之后，将binlog日志中我们需要的内容取出发送到kafka    
4.  kafka消费端监听到消息之后，将数据解析为对象再增量更新到elasticsearch  

#### 使用说明
1.  修改mysql登录账号、密码、地址、端口
2.  修改kafka代理地址
3.  修改elasticsearch连接地址
5.  修改完成之后先启动binlog2mq项目，此项目是监听binlog日志和发送kafaka数据的
6.  再启动mq2es项目，此项目用于监听kafaka消息，将收到的日志消息同步到elasticsearch中