数据同步工具DataX使用教程

tanglu 199 2022-09-12

一、DataX简介

DataX是阿里开源的一款异构数据源离线同步工具,可以实现多种关系型和非关系型异构数据库之间的数据同步功能。DataX作为中间传输载体,可以将原数据源无缝同步到新的异构数据源中(可以通过项目地址 https://github.com/alibaba/DataX  查看其所支持的各种数据源)。DataX以插件的形式工作,各个数据源之间有各自的读写模块,比如MySQLReader、HDFSWriter,根据使用不同的插件实现对不同数据源的读写。

DataX任务组成

· Job:单个作业的管理节点,负责数据清理、子任务划分、TaskGroup监控管理

· Task:由Job切分而来,是DataX作业的最小单元,一个大的Job可以分为多个Task,每个Task负责一部分数据的同步

· Schedule:将Task组成TaskGroup,即任务组

DataX与Sqoop主要区别

· DataX是单进程多线程工作

· 读写粒度容易控制

· 不支持分布式

· 支持流控


二、DataX部署与使用

1、提前部署JDK 1.8


2、下载DataX二进制安装包

wget https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/20220530/datax.tar.gz


3、解压后的bin目录存放可运行的脚本;conf目录存放了全局核心配置文件core.json;job目录存放所编写的任务脚本,并包含了一个模板文件job.json;lib存放程序公共依赖包;plugin目录存放了各个数据源的依赖包,按照读写的不同又分为了reader和writer,每个数据源下也提供了一个plugin_job_template.json作为模板文件


4、DataX任务配置

由于DataX是插件式工作,不同的reader和writer之间有不同的配置格式,只需要把正确的配置放在json文件中就可以运行。DataX提供了快捷查询配置的命令,只需要替换想要查看的reader或者writer就可以查看配置文件的编写模板。将配置文件保存下来后就可以使用python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json的方式来运行


bin/datax.py -r mysqlreader -w mysqlwriter 

#以下是修改后的可用模板
{
"job": {
"content": [{
"reader": {
"name": "mysqlreader",
"parameter": {
"column": [
"id",
"name",
"age"
],
"connection": [{
"jdbcUrl": ["jdbc:mysql://172.20.1.190:3307/datax_test"],
"table": ["datax_test1"]
}],
"password": "123456",
"username": "root",
"where": ""
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"column": [
"id",
"name",
"age"
],
"connection": [{
"jdbcUrl": "jdbc:mysql://172.20.1.191:3307/datax_test",
"table": ["datax_test1"]
}],
"password": "132456",
"preSql": [],
"session": [],
"username": "root",
"writeMode": "insert"
}
}
}],
"setting": {
"speed": {
"channel": "1"
}
}
}
}


5、运行DataX,然后观察数据同步结果

#将上面的配置文件保存在job/mysql2mysql.json中
bin/datax.py job/mysql2mysql.json


版权声明
本站所有文章均为原创,转载请注明出处!小站维护不易,如果对您有所帮助,希望能点击一下站内广告,谢谢!
上一篇:【实用脚本】数据库备份巡检自动还原脚本
下一篇:【MySQL运维】使用my2sql闪回工具实现MySQL数据回滚
相关文章

 发表评论

暂时没有评论,来抢沙发吧~

微信二维码