首页 / 知识
从根本上解决mysql主从复制的延迟问题
2023-04-11 16:19:00
一、并行复制的原理：
很多码友在自己线上的业务系统中都使用了mysql的主从复制，但是大家需要注意的是，并不是所有的场景都适合主从复制，一般情况下是读要远远多于写的应用，同时读的时效性要求不那么高的场景。如果真实场景中真的要求立马读取到更新之后的数据，那么就只能强制读取主库的数据，所以在进行实现的时候要考虑实际的应用场景，不要为了技术而技术，这是很严肃的事情。
在mysql5.6版本之后引入了一个概念，就是我们通常说的并行复制，如下图：
通过上图我们可以发现其实所谓的并行复制，就是在中间添加了一个分发的环节，也就是说原来的sql_thread变成了现在的coordinator组件，当日志来了之后，coordinator负责读取日志信息以及分发事务，真正的日志执行的过程是放在了worker线程上，由多个线程并行的去执行。
-- 查看并行的slave的线程的个数，默认是0.表示单线程
show global variables like 'slave_parallel_workers';
-- 根据实际情况保证开启多少线程
set global slave_parallel_workers = 4;
-- 设置并发复制的方式，默认是一个线程处理一个库，值为database
show global variables like '%slave_parallel_type%';
-- 停止slave
stop slave;
-- 设置属性值
set global slave_parallel_type='logical_check';
-- 开启slave
start slave
-- 查看线程数
show full processlist;
1、 通过上述的配置可以完成我们说的并行复制，但是此时你需要思考几个问题
1）、在并行操作的时候，可能会有并发的事务问题，我们的备库在执行的时候不可以按照轮训的方式发送给各个worker，原因如下：
因为事务被分发给worker以后，不同的worker就开始独立执行了，但是，由于CPU的不同调度策略，很可能第二个事务最终比第一个事务先执行，而如果刚刚好他们修改的是同一行数据，那么因为执行顺序的问题，可能导致主备的数据不一致。
2）、同一个事务的多个更新语句，不能分给不同的worker来执行，原因如下：
比如一个事务更新了表t1和表t2中的各一行，如果这两条更新语句被分到不同worker的话，虽然最终的结果是主备一致的，但如果表t1执行完成的瞬间，备库上有一个查询，就会看到这个事务更新了一半的结果，破坏了事务逻辑的隔离性。
2、我们通过讲解上述两个问题的最主要目的是为了说明一件事，就是coordinator在进行分发的时候，需要遵循特定的策略：
1）、不能造成更新覆盖。这就要求更新同一行的两个事务，必须被分发到同一个worker中。
2）、同一个事务不能被拆开，必须放到同一个worker中。
分析完上面的描述，我们来说一下具体实现的原理和过程：
如果让我们自己来设计的话，我们应该如何操作呢？这是一个值得思考的问题。其实如果按照实际的操作的话，我们可以按照粒度进行分类，分为按库分发，按表分发，按行分发。
|
最新内容
相关内容
Python的字典排序
Python的字典排序，代码，数据，培训，字典，函数，表达式，内容，列表，排列，问题，字典是Python语言中的一种数据结构，每一个字典元素是由一对key-valu
python的调用绑定方法和非绑定方法
python的调用绑定方法和非绑定方法，代码，方法，实例，第一，培训，时计，奇数，偶数，参数，定义，在Python中，如果用实例去调用方法，这种限制就被称为Py
Python的经典题目
Python的经典题目，数字，数据，公司，培训，星期六，星期，字母，水仙花，次方，偶数，1、水仙花数用python打印出100-999所有的水仙花数，所谓水仙花数是
python调试的几种方式
python调试的几种方式，代码，位置，信息，状态，培训，数据，分析，变量，函数，方式，python作为一种脚本语言，很多时候我们习惯于它的简洁，习惯于它的修
为何你的Python代码应是扁平与稀疏
为何你的Python代码应是扁平与稀疏的，代码，培训，信息，观察，设计，工具，嵌套，闻闻，程序员，沉思，Python之禅之所以得名，正是由于它那简明扼要的规
python的应用领域
python的应用领域，数据，分析，网络，工作，代码，人工智能，项目，金融，量化交易，业务，应用领域1：人工智能Python语言是目前公认学习人工智能的基础Python之关于高效使用字典的清单
Python之关于高效使用字典的清单，代码，数据，字典，培训，扩大，时报，方式，方法，对象，列表，字典(dict)对象是Python最常用的数据结构，社区曾有人开
Python与c#的区别
Python与c#的区别，代码，平台，名称，培训，系统，设计，技术，标准，脚本，变量，现在来看下c#。它们的技术差异很大，但都适用于web开发。Python对c#的
Python的英语搭配助手应用开发研究
Python的英语搭配助手应用开发研究，信息，设计，网站，在线，代码，环境，数据，分析，时间，培训，基于Python自带的GUI工具包Tkinter来实现窗口视窗设
Python学习的三个阶段
Python学习的三个阶段，数据，基础，体系，基本知识，业务，传统行业，企业，培训，分析，语言，首先，在当前诸多的计算机编程语言当中，Python语言确实算是
Python线程编程的两种方式
Python线程编程的两种方式，代码，包装，线程，培训，函数，对象，模块，参数，方式，方法，Python中如果要使用线程的话，python的lib中提供了两种方式。Python之__init__和__new__的区别
Python之__init__和__new__的区别是什么，工厂，设计，代码，生产，函数，灵活，培训，对外，实例，模式，真假构造函数如果你去面试Python工程师的岗位，