数据同步组件otter环境搭建

2018-01-20 11:04:58来源:oschina作者:麦穗人点击

分享
一、otter介绍

部分说明引用阿里otter项目的wiki 。阿里otter工具地址:https://github.com/alibaba/otter/wiki


otter为阿里的一款增量数据同步工具,基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。


公司最近需要把线下的数据同步到云仓,选用了otter这款工具做mysql的增量数据同步,所以花了几周的时间来趟坑。当然otter也可以做全量数据同步,不过太过于麻烦,可以考虑其他方式先做全量后,再做增量。


otter工作原理



其他的不做介绍了,阿里wiki中有更详细的介绍,这里主要些搭建步骤和躺过的坑。


二、环境搭建
1、mysql

源库mysql需要开启binlog,因为otter是基于canal的,而canal是基于binlog的,so,第一步需要MySQL开启binlog。


开启binlog的方法:Linux修改my.cnf文件,Windows修改MySQL的my.ini文件。具体先百度吧


2、zookeeper搭建

zk可以单击版也可以搭建集群,我搭建的是伪分布式,没那么多机子。具体步骤见我的另一篇博文。


3、otter配置

a)执行SQL文件:为otter新建一个名称为otter库(可以取其他名字),在下载包中(地址:https://github.com/alibaba/otter/releases)找到otter-manager-schema.sql,执行,然后otter中就有数据了。这个库主要是又来存储配置ottermanager的信息和otter运行时的一些数据。


b) 修改otter的配置文件:conf/manager.properties


## otter manager domain name
otter.domainName = 127.0.0.1 # otter提供对外访问的IP
## otter manager http port
otter.port = 8080 # otter提供的web界面访问的端口
## jetty web config xml
otter.jetty = jetty.xml
## otter manager database config
otter.database.driver.class.name = com.mysql.jdbc.Driver
otter.database.driver.url = jdbc:mysql://127.0.0.1:3306/otter #数据库连接
otter.database.driver.username = root# 用户名
otter.database.driver.password = Geekplus@2017密码
## otter communication port
otter.communication.manager.port = 1099 #管理节点端口
## otter communication pool size
otter.communication.pool.size = 10
## default zookeeper address
otter.zookeeper.cluster.default = 127.0.0.1:2181# zk地址
## default zookeeper sesstion timeout = 60s
otter.zookeeper.sessionTimeout = 60000
## otter arbitrate connect manager config
otter.manager.address = ${otter.domainName}:${otter.communication.manager.port}
## should run in product mode , true/false
otter.manager.productionMode = true
## self-monitor enable or disable
otter.manager.monitor.self.enable = true
## self-montir interval , default 120s
otter.manager.monitor.self.interval = 120
## auto-recovery paused enable or disable
otter.manager.monitor.recovery.paused = true
# manager email user config 执行中报警信息发送地址的一些配置
otter.manager.monitor.email.host = xxx
otter.manager.monitor.email.username = xxxx
otter.manager.monitor.email.password = xxx
otter.manager.monitor.email.stmp.port = 465

配置完成后,等10来秒就可以在htt://127.0.0.1:8080访问了


待续。。。。。。

最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台