首页 / 知识
Canal原理及其使用
2023-04-11 16:18:00
1 什么是canal
canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）
2 canal使用场景
（1）阿里otter（阿里用于进行异地数据库之间的同步框架）中间件的一部分，这是原始场景
（2）更新缓存：如果有大量的请求发送到mysql的话，mysql查询速度慢，QPS上不去，光查mysql可能会瘫痪，那就可以在前面加个缓存，这个缓存有2个主要的问题。一是缓存没有怎么办，二是数据不一致怎么办。对于第一个问题查缓存没有就差mysql，mysql再往缓存中写一份。对于第二个问题，如果数据库修改了，那就采用异步的方式进行修改，启动一个canal服务，监控mysql，只要一有变化就同步缓存，这样mysql和缓存就能达到最终的一致性。
（3）抓取业务数据新增变化表，用于制作拉链表：做拉链表是需要有增加时间和修改时间的，需要数据今天新增和变化的数据，如果时间不全就没办法知道哪些是修改的。可以通过canal把变化的抽到自己的表里，以后数据就从这个表出。
（4）取业务表的新增变化数据，用于制作实时统计
3 canal工作原理
首先了解一下mysql主备复制原理：
（1）master主库将改变记录，发送到二进制文件（binary log）中
（2）slave从库向mysql Master发送dump协议，将master主库的binary log events拷贝到它的中继日志（relay log）
（3）slave从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库
canal的工作原理：把自己伪装成slave，从master复制数据。读取binlog是需要master授权的，因为binlog是加密的，授权分用户名密码才能读。master授权后不知道读他的binlog的是从机还是canal，他的所有传输协议都符合从机的标准，所以master一直以为是从机读的。
4 mysql的binlog
4.1 二进制日志
mysql的二进制日志记录了所有的DDL和DML（除了数据查询语句），以事件的形式进行记录，包含语句执行消耗的时间，mysql的二进制日志是事务安全型的。
开启二进制日志大概会有1%的性能损坏。二进制日志有2个主要的使用场景：①mysql的主备复制②数据恢复，通过使用mysqlbinlog工具来恢复数据（用这个做恢复是备选方案，主方案还是定期快照，定期执行脚本导数据，其实就是把当前所有数据导成insert，这个量少）
二进制日志包括2类文件：①二进制日志索引文件（后缀为。index）用于记录所有的二进制文件②二进制日志文件（后缀为。00000*）记录数据库所有的DDL和DML（除了数据查询语句）
|
最新内容
相关内容
对数组使用Python For循环
对数组使用Python For循环，名称，培训，代码，健康，水牛，数组，元素，有用，下面，以上，您可以使用for循环从数组中获取特定元素。假设您有一组水牛b
为何你的Python代码应是扁平与稀疏
为何你的Python代码应是扁平与稀疏的，代码，培训，信息，观察，设计，工具，嵌套，闻闻，程序员，沉思，Python之禅之所以得名，正是由于它那简明扼要的规
使用Python的toolz库开始函数式编
使用Python的toolz库开始函数式编程，代码，函数，培训，位置，参数，字典，顺序，操作，结果，测试，toolz库允许你操作函数，使其更容易理解，更容易测试代
Python之关于高效使用字典的清单
Python之关于高效使用字典的清单，代码，数据，字典，培训，扩大，时报，方式，方法，对象，列表，字典(dict)对象是Python最常用的数据结构，社区曾有人开
使用Cython为Python编写更快的C扩
使用Cython为Python编写更快的C扩展，代码，时间，意外，工作，指数，培训，系统，整数，噪声，算法，使用Python很有趣，但有时，用它编写的程序可能很慢。
python之什么是函数式编程?
python之什么是函数式编程?，系统，概念，项目，大规模，状态，数据，培训，函数，语言，副作用，函数式编程(简称FP)是一种编程范式，其中最基本的元素是
Python 中的装饰器是什么
Python 中的装饰器是什么，包装，函数，代码，基础，工具，培训，变量，对象，参数，语法，装饰器在Python中是一个非常强大和有用的工具，因为它允许程序
Python继承性和 java 是一样的吗?
Python继承性和 java 是一样的吗?，情况，代码，名称，第一，培训，初始化，函数，方法，定义，变量，聊完了多态，再来看看面向对象的另一个特征：继承性。
Python之__init__和__new__的区别
Python之__init__和__new__的区别是什么，工厂，设计，代码，生产，函数，灵活，培训，对外，实例，模式，真假构造函数如果你去面试Python工程师的岗位，
Python当中生成器和迭代器的使用
Python当中生成器和迭代器的使用，数据，老板，概念，员工，代码，收入，位置，生成器，工具，地方，我当初第一次学到迭代器和生成器的时候，并没有太在意
python之使用inspect模块
python之使用inspect模块，异常，信息，名字，代码，培训，资料，价值，方法，参数，模块，inspect模块提供了一系列函数用于帮助使用自省。下面仅列出较
Python什么是函数式编程?
Python什么是函数式编程?，状态，技术，代码，系统，数据，函数，工作，培训，地方，边界，函数式编程使用一系列的函数解决问题。函数仅接受输入并产生