# maya-datax

**Repository Path**: j-maya/maya-datax

## Basic Information

- **Project Name**: maya-datax
- **Description**: web版datax
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2020-03-09
- **Last Updated**: 2021-03-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## ETL WEB 版本

### [原项目地址 skycloud-datax](https://gitee.com/xk11961677/skycloud-datax)

一次偶然在码云上看到有web版的datax，但是想跑起来时候发现比较困难，因为可能跟作者一整套开发框架有关系，所以我对这个项目进行了适当的裁剪，然后也集成xxl-job。可以用调度方式拉起同步任务。

### [原vue页面地址](https://github.com/xk11961677/skycloud-admin-vue) [改造后admin地址](https://gitee.com/j-maya/maya-datax-admin)



### 使用方式
#### 1. 在父工程目录下使用maven打包
```
 mvn -U clean package assembly:assembly -Dmaven.test.skip=true 
```

#### 2. 在打包完成的target目录下进入datax-web，datax-web-0.0.1-SNAPSHOT
```
cd  datax/datax/plugin/web
```

#### 3. 运行启动命令
```
 java  -Ddatax.home=当前目录/target/datax/datax  -jar datax-web-0.0.1-SNAPSHOT.jar

 或者 通过启动脚本启动
 打完包后的 bin/start.sh
```
需要配上环境变量-Ddatax.home，此处参照上述配置mvn打包后的目录即可


### 4. 页面效果

##### job配置
```
{
    "job":{
        "setting":{
            "speed":{
                "channel":3
            },
            "errorLimit":{
                "record":0,
                "percentage":0.02
            }
        },
        "content":[
            {
                "reader":{
                    "name":"mysqlreader",
                    "parameter":{
                        "username":"wuyn",
                        "password":"123456",
                        "splitPk":"id",
                        "column":[
                            "id",
                            "trade_id",
                            "out_order_id"
                        ],
                        "connection":[
                            {
                                "table":[
                                    "pay_order"
                                ],
                                "jdbcUrl":[
                                    "jdbc:mysql://127.0.0.1:3306/easy-payment"
                                ]
                            }
                        ]
                    }
                },
                "writer":{
                    "name":"mysqlwriter",
                    "parameter":{
                        "writeMode":"insert",
                        "username":"wuyn",
                        "password":"123456",
                        "session":[
                            "set session sql_mode='ANSI'"
                        ],
                        "column":[
                            "id",
                            "trade_id",
                            "out_order_id"
                        ],
                        "preSql":[
                            "delete from pay_order_copy"
                        ],
                        "connection":[
                            {
                                "jdbcUrl":"jdbc:mysql://127.0.0.1:3306/easy-payment",
                                "table":[
                                    "pay_order_copy"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

```
### 5. 平台界面展示
![idea调试](doc/image/datax_08.png)
![idea调试](doc/image/datax_07.png)
![idea调试](doc/image/datax_09.png)
![idea调试](doc/image/datax_11.png)
![idea调试](doc/image/datax_12.png)
![platform](doc/image/datax_13.png)
![platform](doc/image/datax_10.png)

### 6. 来源(20190705)
https://github.com/alibaba/DataX/

https://gitee.com/xuxueli0323/xxl-job