大数据Canal(二):Canal下载安装
Canal下载安装
一、安装前准备(开启MySQL binlog)
对于自建 MySQL , 需要先开启 Binlog 写入功能,配置 binlog-format 为 ROW 模式,开启Mysql binlog日志步骤如下:
(相关资料图)
1、登录mysql查看MySQL是否开启binlog日志
[root@node2 ~]# mysql -u root -p123456mysql> show variables like "log_%";
2、开启mysql binlog日志
在/etc/my.cnf文件中[mysqld]下写入以下内容:
[mysqld]# 随机指定一个不能和其他集群中机器重名的字符串,配置 MySQL replaction 需要定#义,不要和 canal 的 slaveId 重复server-id=123 #配置binlog日志目录,配置后会自动开启binlog日志,并写入该目录log-bin=/var/lib/mysql/mysql-bin# 选择 ROW 模式binlog-format=ROW
MySQL binlog-format有三种模式:Row、Statement 和 Mixed 。
Row:不记录sql语句上下文相关信息,仅保存哪条记录被修改。优点: binlog中可以不记录执行的sql语句的上下文相关的信息,仅需要记录那一条记录被修改成什么了。所以row level的日志内容会非常清楚的记录下每一行数据修改的细节。
缺点:所有的执行的语句当记录到日志中的时候,都将以每行记录的修改来记录,这样可能会产生大量的日志内容,比如一条update语句,修改多条记录,则binlog中每一条修改都会有记录,这样造成binlog日志量会很大,特别是当执行alter table之类的语句的时候,由于表结构修改,每条记录都发生改变,那么该表每一条记录都会记录到日志中。
Statement(默认):每一条会修改数据的sql都会记录在binlog中。这种模式下,slave在复制的时候sql进程会解析成和原来master端执行过的相同的sql来再次执行。
优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。
缺点:由于只记录语句,所以,在statement level下 已经发现了有不少情况会造成MySQL的复制出现问题,主要是修改数据的时候使用了某些定的函数或者功能的时候会出现。 例如:update 语句中含有uuid() ,now() 这种函数时,Statement模式就会有问题(update t1 set xx = now() where xx = xx)
Mixed: 混合模式在Mixed模式下,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志格式,也就是在Statement和Row之间选择一种。如果sql语句确实就是update或者delete等修改数据的语句,那么还是会记录所有行的变更。
3、重启mysql 服务,重新查看binlog日志情况
[root@node2 ~]# service mysql restart[root@node2 ~]# mysql -u root -p123456mysql> show variables like "log_%";
二、下载安装Canal
1、下载Canal
Cannal下载地址如下:Releases · alibaba/canal · GitHub
这里选择Canal 1.1.4版本下载。
2、上传解压
将下载好的Canal安装包上传到node3节点上,解压
#首先创建目录 “/software/canal”[root@node3 ~]# mkdir -p /software/canal#将Canal安装包解压到创建的canal目录中[root@node3 ~]# tar -zxvf /software/canal.deployer-1.1.4.tar.gz -C /software/canal/
标签:
相关文章
大数据Canal(二):Canal下载安装
对于自建MySQL,需要先开启Binlog写入功能,配置binlog-format为ROW模式,开启Mysqlbinlog日志步骤如下:
环球即时看!复星系拟135.8亿出售南钢60%股权予沙钢 并以26.5亿收购万盛
预计于出售事项完成后,该集团将获得出售事项的税前收益约8 3亿元,而该等收益的计算参照了出售代价135 8亿元与复星国际于2022年12月31日投资
世界速递!lol赛季奖励领取条件_lol赛季奖励
1、认真打好每一场比赛。虽然游戏是娱乐活动,但我们选择的是英雄联盟这种竞技游戏。我们必须展示竞争精神。虽然我们不能每场都
齐胸襦裙怎么穿技巧_齐胸襦裙怎么穿 世界最新
1、1 上襦系带。2、2 套入裙子,先将后片裙子的系带绕到胸前系住。3、3 提起前片盖住后片的带子,将前片的带子绕到背后
powerpoint2010电脑版从哪里下载_powerpoint2010电脑版|每日视点
1、使用Microsoft powerpoint2010,2010版powerpoint下载可以使用比以往更多的方式
撒贝宁论语节目完整版_吐槽大会第二季撒贝宁完整版
1、撒贝宁参加《吐槽大会》是在2017年9月8日第五期。2、节目组邀请了著名央视主持人撒贝宁和人气偶像歌手何洁作为第五期
热点评!厦门有20万养猫人 拥有众多猫文旅IP
猫博会吸引不少爱猫人士逛展。厦门网讯(文 图厦门日报记者房舒)首届CEIE猫经济产业创新博览会(简称猫博会)于3月1
有聊|韩东君:别管那些“热闹”,演员要有生活
《情满九道弯》播出后,韩东君的台词得到了不少观众的“地道”认可,不过也有追剧党给他提了建议,对此他也虚心接受:“我看有人说北京人说...
起亚全新“销量王”!比路虎更有气势,油耗5.4L+国六,10.88万起
雪铁龙“实力派”代步车,颜值超越本田XRV,油耗5 1L,10 89万起起亚全新“销量王”!比路虎更有气势,油耗5 4L+国六,10 88万起在国产自主汽车崛起
《虹咲》与你一起见证纯真的笑容.第六话:笑容的形式
本系列为半新人向,目的在于带老拉拉人回顾动画的同时勾引新人入坑,无论如何都会一直做完二期动画。本集为天王寺璃奈回。最初天王寺璃奈一直
实时:华瓷股份董秘回复:当前公司陶瓷新材料的研究主要在氧化锆、氧化铝陶瓷等领域,无超导材料的研究
华瓷股份(001216)03月13日在投资者关系平台上答复了投资者关心的问题。
当前热点-微创医疗(00853):无存放于硅谷银行的任何款项
智通财经APP讯,微创医疗(00853)发布公告,有关近期美国硅谷银行(SVB)事件,该集团未曾与SVB发生业务合作。于本公告日期,无存放于SVB的任何款项。集
土豆玉米浓汤_需要怎么制作 环球微速讯
1、将洋葱和土豆切成丁。2、将锅加热,加入黄油,煮至黄油融化。3、依次翻炒洋葱和土豆。4、然后加入500毫升清水,盖上盖
Bing国际版国内使用不出现重定位次数过多的办法
RT,起因是最近通过Header类工具访问Bing(主要是使用ChatGPT)后会很容易出现被强制跳回cn bing com的域名并出现重定位次数过多的情况。后来
怀孕一个月有褐色分泌物怎么回事_怀孕初期有少量褐色分泌物怎么回事
1、怀孕初期,很多孕妇反映阴道分泌物会比正常多很多。2、这是因为体内的激素水平和内分泌系统与孕前不同,会导致分泌物增多。
测试结果ng是什么意思(测试结果nd是什么意思) 焦点消息
测试结果ng是什么意思,测试结果nd是什么意思这个很多人还不知道,现在让我们一起来看看吧!1、报告中ND指的是测试数值结果低于当时设备以及实
每日观点:爱思助手越狱失败是什么原因(爱思助手越狱正在生成安装包失败)
1、没有网速过慢导致服务器反应延迟无法安装【使用wifi下载即可】。2、2、软件程序版本不兼容手机版本导致无法安装【找兼容手机系统版本的程序
杭州艾显电子技术有限公司_关于杭州艾显电子技术有限公司简述-环球动态
1、杭州艾显电子技术有限公司于2010年01月07日成立。2、法定代表人史海锋,公司经营范围包括:电子产品、平板显示设备、数码电子产品的组装、
焦点讯息:一寸照片的像素和尺寸怎么调整_一寸照片的像素是多少
1、常用的1寸照片大小是2 5*3 5cm的但是,像素多少要取决于用途是什么了。2、如果是冲洗的话分辨率一般用到30
榉木家具属于什么档次(榉木家具)
1、没有什么危害,但是有缺点。2、首先,榉木家具的颜色不是那么统一,这是因为榉木树龄的原因。3、树龄不同,榉木的颜色和密度都有差异,所以
当前视点!恶性肿瘤已成慢性病!周清委员:未来在家门口的医院就能得到诊治
东方网记者董俊成、卞英豪、单珊3月11日报道:今日,全国政协十四届一次会议开启第三场“委员通道”。有记者向全国政协委员、广东省人民医...
经久不变什么意思_经久不变的意思是什么
1、时间久了也没变也没变质。一般不是指食物,而是真理、友谊、信心等等,包括爱情。2、同义词:3、耐力:时间久了不衰退。长
女性尿胆原normal是什么意思_尿胆原normal是什么意思
1、尿胆原偏高。2、一般常见于肝实质性病变、溶血性黄胆、肝细胞性黄胆、心力衰竭、败血症、猩红热、肠道感染等。3、你的这种
今日广州火车站买票能用微信吗_微信买广州到重庆的火车票需要去车站取票吗
1、广州到重庆的各次列车不具备居民身份证检票条件。2、所以需要换取纸质车票乘车。本文到此结束,希望对大家有所帮助。