diff --git a/media/trans-to-ob/datax1.png b/media/trans-to-ob/datax1.png new file mode 100644 index 0000000000000000000000000000000000000000..11cbdcd702de377994125f4ea48f775519b2ab1b Binary files /dev/null and b/media/trans-to-ob/datax1.png differ diff --git a/media/trans-to-ob/datax2.png b/media/trans-to-ob/datax2.png new file mode 100644 index 0000000000000000000000000000000000000000..1ebef62bf569d3b77ca121b7244fdc1e6214197c Binary files /dev/null and b/media/trans-to-ob/datax2.png differ diff --git a/media/trans-to-ob/trans-to-ob-datax1.png b/media/trans-to-ob/trans-to-ob-datax1.png new file mode 100644 index 0000000000000000000000000000000000000000..c98d91104ef5888edfbe500d9993377d688eb5fe Binary files /dev/null and b/media/trans-to-ob/trans-to-ob-datax1.png differ diff --git a/media/trans-to-ob/trans-to-ob-src.png b/media/trans-to-ob/trans-to-ob-src.png new file mode 100644 index 0000000000000000000000000000000000000000..4ca0e3cf515ce6668ee4b14d0b21617051d5ca6d Binary files /dev/null and b/media/trans-to-ob/trans-to-ob-src.png differ diff --git "a/\350\277\201\347\247\273\345\256\236\346\210\230-\345\246\202\344\275\225\344\275\277\347\224\250DataX\344\273\216PostgreSQL\345\220\214\346\255\245\346\225\260\346\215\256\345\210\260OceanBase.md" "b/\350\277\201\347\247\273\345\256\236\346\210\230-\345\246\202\344\275\225\344\275\277\347\224\250DataX\344\273\216PostgreSQL\345\220\214\346\255\245\346\225\260\346\215\256\345\210\260OceanBase.md" new file mode 100644 index 0000000000000000000000000000000000000000..79bfd44a664bf8503b5cc3f6ded6fe46437c0a6b --- /dev/null +++ "b/\350\277\201\347\247\273\345\256\236\346\210\230-\345\246\202\344\275\225\344\275\277\347\224\250DataX\344\273\216PostgreSQL\345\220\214\346\255\245\346\225\260\346\215\256\345\210\260OceanBase.md" @@ -0,0 +1,157 @@ +在异构数据库之间做数据迁移,对于任何 DBA 来说都是很头疼的一件事。OceanBase 作为一款刚开源不到两年的国产数据库,也会遇到各种各样的问题,OB 官方其实针对企业版提供了 OMS 一站式迁移服务,该服务支持从各种数据源迁移数据到 OB 企业版,但是开源版本支持的功能较少,当前仅支持 MySQL 到 OB 的数据同步。 + +本文来分享另外一种解决方案,由于都是集成三方工具,所以并不能达到整库一键复制的目标,如果大家有相应的需求,还需要自行定制。 + +本文分享的内容是基于 DataX 数据同步工具做的,数据源选择了一款较为流行的开源数据库 PostgreSQL,理论上来说,采用 DataX,任何能接入的数据源均可以迁移到 OceanBase 社区版。 + +# 前提条件 + +在开始主要内容之前,大家需要了解一下前置条件: + +- 预先安装好 PostgreSQL 数据库环境; +- 预先下载好(或自行编译好)DataX 软件; +- 预先安装好 OceanBase 数据库环境。 + +# 从 PostgreSQL 迁移到 OceanBase 的过程 + +## 1. 源端构造 + +首先我们在源端 PostgreSQL 数据库创建测试表,并在表中插入100条测试数据: + +```sql +--创建源端表 +create table pg_tbl_src(id int, name text); +--插入100条数据 +insert into pg_tbl_src select generate_series(1,100),'name'||generate_series(1,100)::text ; +--查询一下数据量 +select count(*) from pg_tbl_src; +``` + +![](./media/trans-to-ob/trans-to-ob-src.png) + +PostgreSQL 的连接可以采用多种工具,我这里使用了 DBeaver,当然如果您觉得麻烦,可以在安装完 PG 后,直接用 psql 工具连接,我这里 PG 数据库的默认配置如下,后面会用到: + +- IP: 192.168.0.200 +- PORT: 5432 +- User: Chris +- Password: changeme +- Database: postgres +- Schema: public +- TableName: pg_tbl_src +- Column: id, name + +## 2. 目标端准备 + +根据源端建表语句,我们需要在目标端 OceanBase 也对应创建一张空表,如下: + +```sql +--创建目标端表 +create table ob_tbl_tgt(id int, name varchar(200)); +``` + +> OB 这边只需要创建对应的表结构即可,我这里仍然采用 DBeaver 进行操作,您也可以采用官方推荐的 ODC。 + +OB 这边数据库的默认配置如下: + +- IP: 10.211.55.73 +- PORT: 2883 +- User: root +- Password: observer +- Database: test +- Tenant: sys +- TableName: ob_tbl_tgt +- Column: id, name + +## 3. DataX 同步配置 + +这里最重要和麻烦的就是 DataX 配置,DataX 不提供图形化界面,所以我们只能通过编写 json 文件,使用 python 调用执行。 + +> DataX 提供 OceanBase 的 reader 和 writer,这也给我们做 OB 的数据同步带来了很大的便利,例证如下,可以看到对应的 OB plugin,而无需使用 MySQL 的 jar。 +> ![](./media/trans-to-ob/trans-to-ob-datax1.png) + +**本次同步供参考的 json 文件如下:** + +```json +{ + "job": { + "setting": { + "speed": { + "channel": 4 + }, + "errorLimit": { + "record": 0, + "percentage": 0.1 + } + }, + "content": [ + { + "reader": { + "name": "postgresqlreader", + "parameter": { + "username": "chris", + "password": "changeme", + "column": [ + "*" + ], + "connection": [ + { + "table": [ + "pg_tbl_src" + ], + "jdbcUrl": ["jdbc:postgresql://192.168.0.200:5432/postgres"] + } + ] + } + }, + + "writer": { + "name": "oceanbasev10writer", + "parameter": { + "obWriteMode": "insert", + "column": [ + "*" + ], + "preSql": [ + "truncate table ob_tbl_tgt" + ], + "connection": [ + { + "jdbcUrl": "jdbc:oceanbase://10.211.55.73:2883/test?useLocalSessionState=true&allowBatch=true&allowMultiQueries=true&rewriteBatchedStatements=true", + "table": [ + "ob_tbl_tgt" + ] + } + ], + "username": "root", + "password":"observer", + "writerThreadCount":10, + "batchSize": 1000, + "memstoreThreshold": "0.9" + } + } + } + ] + } +} + +``` + +执行完命令后,如果过程没有问题,通常 DataX 会返回一个成功汇总结果,并且我们能从数据库中查询到刚才同步进来的数据。 + +![](./media/trans-to-ob/datax1.png) + +![](./media/trans-to-ob/datax2.png) + +# 总结 + +最后总结一下,本文通过一个简单的示例,演示了如何从 PostgreSQL 数据库,使用 DataX 将数据同步到 OceanBase,**整体上来看最重要的就是 DataX 配置文件这一步**。 + +**采用这种方案的好处是:** 可以从各种数据源同步数据到 OB,并且性能也很可观,我还么有做同步性能测试演示,其实 DataX 在数据同步中的效率还是蛮高的。 + +**坏处也很显然:** 全程黑屏界面不友好,另外需要一个个的表进行定义,比较麻烦。当然如果您有开发经验,完全可以通过自行开发实现自动化操作。 + +最后的最后,希望我分享的文章对您有用处,欢迎多多关注并讨论。 + + + +