datax-web|在windows上环境搭建及同步数据测试

叶一片2023-11-052024-07-08

datax-web部署说明：

datax-web 是一个集成datax和xxljob定时任务优秀的同步数据库开源框架。data-web开源地址：https://github.com/WeiYe-Jing/datax-web

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

环境准备：
JDK(1.8以上，推荐1.8)
Python(推荐Python2.7.X)
datax

github下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

快速搭建datax，下载时使用使用datax-web，做全量同步数据，增量同步数据。

一、安装前提

安装jdk
安装python
下载datax并解压

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

本文解压到：D:\dataxx\datax中

二、测试datax是否安装

在datax的bin目录下新建一个文件为：stream2stream.json，把下面的内容复制到，stream2stream.json文件内。

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello，你好，世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

在datax的bin目录输入cmd，如下图，进入doc命令窗口
防止乱码输入：CHCP 65001 python datax.py ./stream2stream.json 回车

若出现参数格式不正确 - python则可只输入 python datax.py ./stream2stream.json

出现如下结果，说明按照成功了。

三、datax-web安装

1.datax-web下载

地址：https://github.com/WeiYe-Jing/datax-web

(文件结构可能有出入但大差不差)

我遇到的错误：

①项目各种报红，切换仓库路径就行了。

②maven包没有下载全，直接install即可

③ 项目中存在lombok包，需要下载该插件补全log和类中缺少的set/get方法

2.修改配置文件

将datax-admin\src\main\resources\application.yml和datax-executor\src\main\resources\application.yml中的变量改成固定值

其中上图要注意修改datax-executor中的datax.py的地址和存放临时json文件地址
修改datax-admin的邮箱配置

参考qq邮箱，在以下位置获取授权码“password”