登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
登录
注册
代码拉取完成,页面将自动刷新
开源项目
>
数据库相关
>
数据库管理/监控
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
13
Star
102
Fork
30
万里数据库
/
gt-checksum
代码
Issues
7
Pull Requests
0
Wiki
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
更新失败,请稍后重试!
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息,仓库外成员不可访问
v1.2.1检查不出来数据不一致,mysql
已完成
#I8HSQB
需求
Sd-Liyanjing
创建于
2023-11-20 11:41
# 【 使用版本 】 1.2.1 # 【 使用环境 】 测试环境 【问题描述】 mysql8.0.33,检查数据是否一致,gt-checksum检测不出来,用pt-table-checksum可以检测出来。 # 【复现路径】 1. 数据库环境:mysql8.0.33,centos7.9,主库A,从库B 2. 创建测试数据 ``` mysql> CREATE DATABASE slave_test_db DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_0900_ai_ci; mysql> use slave_test_db; SET FOREIGN_KEY_CHECKS=0; DROP TABLE IF EXISTS `student_info`; CREATE TABLE `student_info` ( `id` bigint unsigned NOT NULL AUTO_INCREMENT COMMENT '主键,自增ID;【必须保留自增ID,不要将一些有随机特性的字段值设计为主键,例如order_id,会导致innodb内部page分裂和大量随机I/O,性能下降】int 大约21亿左右,超过会报错。bigint 大约9千亿左右。', `uuid` varchar(128) NOT NULL COMMENT '唯一索引;分布式下全局唯一,用于binlog 同步 ES 方便使用', `stu_num` varchar(20) NOT NULL COMMENT '学号', `stu_name` varchar(10) NOT NULL DEFAULT '' COMMENT '姓名', `stu_sex` tinyint(1) NOT NULL COMMENT '性别,0 男、1女', `stu_mobile` varchar(20) NOT NULL COMMENT '用户电话', `stu_score` smallint(5) unsigned NOT NULL DEFAULT '0' COMMENT '总分', `update_date` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', `create_date` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', `is_delete` tinyint(1) NOT NULL DEFAULT '0' COMMENT '逻辑删单;0未删除,1已删除 【表达是否概念的字段必须使用is_】', PRIMARY KEY (`id`), UNIQUE KEY `uk_student_info_stu_num` (`stu_num`) USING BTREE, UNIQUE KEY `uq_uuid` (`uuid`), KEY `idx_student_info_stu_name` (`stu_name`) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='学生信息表'; -- 插入测试数据 mysql> INSERT INTO `student_info`(`uuid`, `stu_num`, `stu_name`,`stu_sex`, `stu_mobile`, `stu_score`, `create_date`, `update_date`, `is_delete`) VALUES ('uuid001', '202307001', 'liyanjing', 0, '13854870432', 95, now(), now(), 0); INSERT INTO `student_info`(`uuid`, `stu_num`, `stu_name`,`stu_sex`, `stu_mobile`, `stu_score`, `create_date`, `update_date`, `is_delete`) VALUES ('uuid002', '202307002', 'zhangsan', 0, '13854870432', 90, now(), now(), 0); INSERT INTO `student_info`(`uuid`, `stu_num`, `stu_name`,`stu_sex`, `stu_mobile`, `stu_score`, `create_date`, `update_date`, `is_delete`) VALUES ('uuid003', '202307003', 'wangwu', 0, '13854870432', 99, now(), now(), 0); ``` 3. 制造数据不一致,将B库id=3的stu_name改下值 # 【问题现象及影响】 gt-checksum、pt-table-checksum 均使用mysql的root管理员,来检验数据是否一致: 1. 使用 gt-checksum 执行检查 ``` # cd /usr/local/src/ # tar -xvf gt-checksum-1.2.1-linux-x86-64.tar.gz # cd gt-checksum-1.2.1-linux-x86-64 # chmod +x gt-checksum # ./gt-checksum \ -S type=mysql,user=root,passwd='root的密码',host=A的ip,port=3306,charset=utf8mb4 \ -D type=mysql,user=root,passwd='root的密码',host=B的ip,port=3306,charset=utf8mb4 \ -t slave_test_db.student_info -- gt-checksum init configuration files -- -- gt-checksum init log files -- -- gt-checksum init check parameter -- -- gt-checksum init check table name -- -- gt-checksum init check table column -- -- gt-checksum init check table index column -- -- gt-checksum init source and dest transaction snapshoot conn pool -- -- gt-checksum init cehck table query plan and check data -- ** gt-checksum Overview of results ** Check time: 0.11s (Seconds) Schema Table IndexCol checkMod Rows Differences Datafix ``` 备注:结果文件gt-checksum-DataFix.sql是空的 2. 使用pt-table-checksum 检测 ``` # pt-table-checksum --no-check-binlog-format --no-check-replication-filters \ --host=主库A的ip --port=3306 --user=root --password='root的密码' \ --databases=slave_test_db --tables='student_info' \ --replicate=opt_check_db.checksums Checking if all tables can be checksummed ... Starting checksum ... TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE 11-20T11:39:04 0 1 3 0 1 0 0.020 slave_test_db.student_info ``` 备注:DIFFS=1,说明有一行数据不一致。
# 【 使用版本 】 1.2.1 # 【 使用环境 】 测试环境 【问题描述】 mysql8.0.33,检查数据是否一致,gt-checksum检测不出来,用pt-table-checksum可以检测出来。 # 【复现路径】 1. 数据库环境:mysql8.0.33,centos7.9,主库A,从库B 2. 创建测试数据 ``` mysql> CREATE DATABASE slave_test_db DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_0900_ai_ci; mysql> use slave_test_db; SET FOREIGN_KEY_CHECKS=0; DROP TABLE IF EXISTS `student_info`; CREATE TABLE `student_info` ( `id` bigint unsigned NOT NULL AUTO_INCREMENT COMMENT '主键,自增ID;【必须保留自增ID,不要将一些有随机特性的字段值设计为主键,例如order_id,会导致innodb内部page分裂和大量随机I/O,性能下降】int 大约21亿左右,超过会报错。bigint 大约9千亿左右。', `uuid` varchar(128) NOT NULL COMMENT '唯一索引;分布式下全局唯一,用于binlog 同步 ES 方便使用', `stu_num` varchar(20) NOT NULL COMMENT '学号', `stu_name` varchar(10) NOT NULL DEFAULT '' COMMENT '姓名', `stu_sex` tinyint(1) NOT NULL COMMENT '性别,0 男、1女', `stu_mobile` varchar(20) NOT NULL COMMENT '用户电话', `stu_score` smallint(5) unsigned NOT NULL DEFAULT '0' COMMENT '总分', `update_date` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', `create_date` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', `is_delete` tinyint(1) NOT NULL DEFAULT '0' COMMENT '逻辑删单;0未删除,1已删除 【表达是否概念的字段必须使用is_】', PRIMARY KEY (`id`), UNIQUE KEY `uk_student_info_stu_num` (`stu_num`) USING BTREE, UNIQUE KEY `uq_uuid` (`uuid`), KEY `idx_student_info_stu_name` (`stu_name`) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='学生信息表'; -- 插入测试数据 mysql> INSERT INTO `student_info`(`uuid`, `stu_num`, `stu_name`,`stu_sex`, `stu_mobile`, `stu_score`, `create_date`, `update_date`, `is_delete`) VALUES ('uuid001', '202307001', 'liyanjing', 0, '13854870432', 95, now(), now(), 0); INSERT INTO `student_info`(`uuid`, `stu_num`, `stu_name`,`stu_sex`, `stu_mobile`, `stu_score`, `create_date`, `update_date`, `is_delete`) VALUES ('uuid002', '202307002', 'zhangsan', 0, '13854870432', 90, now(), now(), 0); INSERT INTO `student_info`(`uuid`, `stu_num`, `stu_name`,`stu_sex`, `stu_mobile`, `stu_score`, `create_date`, `update_date`, `is_delete`) VALUES ('uuid003', '202307003', 'wangwu', 0, '13854870432', 99, now(), now(), 0); ``` 3. 制造数据不一致,将B库id=3的stu_name改下值 # 【问题现象及影响】 gt-checksum、pt-table-checksum 均使用mysql的root管理员,来检验数据是否一致: 1. 使用 gt-checksum 执行检查 ``` # cd /usr/local/src/ # tar -xvf gt-checksum-1.2.1-linux-x86-64.tar.gz # cd gt-checksum-1.2.1-linux-x86-64 # chmod +x gt-checksum # ./gt-checksum \ -S type=mysql,user=root,passwd='root的密码',host=A的ip,port=3306,charset=utf8mb4 \ -D type=mysql,user=root,passwd='root的密码',host=B的ip,port=3306,charset=utf8mb4 \ -t slave_test_db.student_info -- gt-checksum init configuration files -- -- gt-checksum init log files -- -- gt-checksum init check parameter -- -- gt-checksum init check table name -- -- gt-checksum init check table column -- -- gt-checksum init check table index column -- -- gt-checksum init source and dest transaction snapshoot conn pool -- -- gt-checksum init cehck table query plan and check data -- ** gt-checksum Overview of results ** Check time: 0.11s (Seconds) Schema Table IndexCol checkMod Rows Differences Datafix ``` 备注:结果文件gt-checksum-DataFix.sql是空的 2. 使用pt-table-checksum 检测 ``` # pt-table-checksum --no-check-binlog-format --no-check-replication-filters \ --host=主库A的ip --port=3306 --user=root --password='root的密码' \ --databases=slave_test_db --tables='student_info' \ --replicate=opt_check_db.checksums Checking if all tables can be checksummed ... Starting checksum ... TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE 11-20T11:39:04 0 1 3 0 1 0 0.020 slave_test_db.student_info ``` 备注:DIFFS=1,说明有一行数据不一致。
评论 (
0
)
登录
后才可以发表评论
状态
已完成
意向
进行中
已完成
已拒绝
负责人
未设置
标签
未设置
项目
未立项任务
未立项任务
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (5)
标签 (3)
master
v1.2.2
revert-merge-2-master
v1.2.1
v1.2.0
1.2.2
1.2.1
1.2.0
开始日期   -   截止日期
-
置顶选项
不置顶
置顶等级:高
置顶等级:中
置顶等级:低
优先级
不指定
严重
主要
次要
不重要
预计工期
(小时)
参与者(1)
Go
1
https://gitee.com/GreatSQL/gt-checksum.git
git@gitee.com:GreatSQL/gt-checksum.git
GreatSQL
gt-checksum
gt-checksum
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册