• MySql使用MyCat分库分表（四）分片规则

    视频学习地址：17-尚硅谷-垂直分库_哔哩哔哩_bilibili

    笔记参考地址：MySQL 分库分表 | xustudyxu's Blog (frxcat.fun) 

    分片规则

    范围分片

    介绍

    根据指定的字段及其配置的范围与数据节点的对应情况， 来决定该数据属于哪一个分片。

    配置 

    schema.xml逻辑表配置：

    <table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

    schema.xml数据节点配置：

    1. <dataNode name="dn1" dataHost="dhost1" database="db01" />
    2. <dataNode name="dn2" dataHost="dhost2" database="db01" />
    3. <dataNode name="dn3" dataHost="dhost3" database="db01" />

    rule.xml分片规则配置：

    1. <tableRule name="auto-sharding-long">
    2. 	<rule>
    3. 		<columns>idcolumns>
    4. 		<algorithm>rang-longalgorithm>
    5. 	rule>
    6. tableRule>
    7.  
    8. <function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
    9. 	<property name="mapFile">autopartition-long.txtproperty>
    10. 	<property name="defaultNode">0property>
    11. function>

    分片规则配置属性含义：

     在rule.xml中配置分片规则时，关联了一个映射配置文件 autopartition-long.txt，该配置文件的配置如下：

    1. # range start-end ,data node index
    2. # K=1000,M=10000.
    3. 0-500M=0
    4. 500M-1000M=1
    5. 1000M-1500M=2

    含义：0-500万之间的值，存储在0号数据节点(数据节点的索引从0开始) ； 500万-1000万之间的数据存储在1号数据节点 ； 1000万-1500万的数据节点存储在2号节点 ；

    该分片规则，主要是针对于数字类型的字段适用。 在MyCat的第一个案例中，我们使用的就是该分片规则。

    取模分片

    介绍

    根据指定的字段值与节点数量进行求模运算，根据运算结果， 来决定该数据属于哪一个分片。

    配置 

    schema.xml逻辑表配置

    <table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long" />

     schema.xml数据节点配置：

    1. <dataNode name="dn4" dataHost="dhost1" database="itcast" />
    2. <dataNode name="dn5" dataHost="dhost2" database="itcast" />
    3. <dataNode name="dn6" dataHost="dhost3" database="itcast" />

     rule.xml分片规则配置：

    1. <tableRule name="mod-long">
    2. 	<rule>
    3. 		<columns>idcolumns>
    4. 		<algorithm>mod-longalgorithm>
    5. 	rule>
    6. tableRule>
    7.  
    8. <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
    9. 	<property name="count">3property>
    10. function>

     分片规则属性说明如下：

    该分片规则，主要是针对于数字类型的字段适用。 在前面水平拆分的演示中，我们选择的就是取模分片。 

    一致性hash分片

    介绍

    所谓一致性哈希，相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来数据的分区位置，有效的解决了分布式数据的拓容问题。

    配置 

    schema.xml中逻辑表配置：

    2. <table name="tb_order" dataNode="dn4,dn5,dn6" rule="sharding-by-murmur" />

    schema.xml中数据节点配置：

    1. <dataNode name="dn4" dataHost="dhost1" database="itcast" />
    2. <dataNode name="dn5" dataHost="dhost2" database="itcast" />
    3. <dataNode name="dn6" dataHost="dhost3" database="itcast" />

     rule.xml中分片规则配置：

    注意，这里MyCat已经默认配置好，只需要修改就行，默认function中的节点为2，修改为3

    1. <tableRule name="sharding-by-murmur">
    2. 	<rule>
    3. 		<columns>idcolumns>
    4. 		<algorithm>murmuralgorithm>
    5. 	rule>
    6. tableRule>
    7.  
    8. <function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash">
    9. 	<property name="seed">0property>
    10. 	<property name="count">3property>
    11. 	<property name="virtualBucketTimes">160property>
    12. function>

    分片规则属性含义：

    测试 

    配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表（需要手动将大写表明改为小写！）、并插入数据，查看数据分布情况。

    1. create table tb_order(
    2. 	id varchar(100) not null primary key,
    3. 	money int null,
    4. 	content varchar(200) null
    5. );
    6. INSERT INTO tb_order (id, money, content) VALUES ('b92fdaaf-6fc4-11ec-b831- 482ae33c4a2d', 10, 'b92fdaf8-6fc4-11ec-b831-482ae33c4a2d');
    7. INSERT INTO tb_order (id, money, content) VALUES ('b93482b6-6fc4-11ec-b831-482ae33c4a2d', 20, 'b93482d5-6fc4-11ec-b831-482ae33c4a2d');
    8. INSERT INTO tb_order (id, money, content) VALUES ('b937e246-6fc4-11ec-b831-482ae33c4a2d', 50, 'b937e25d-6fc4-11ec-b831-482ae33c4a2d');
    9. INSERT INTO tb_order (id, money, content) VALUES ('b93be2dd-6fc4-11ec-b831-482ae33c4a2d', 100, 'b93be2f9-6fc4-11ec-b831-482ae33c4a2d');
    10. INSERT INTO tb_order (id, money, content) VALUES ('b93f2d68-6fc4-11ec-b831-482ae33c4a2d', 130, 'b93f2d7d-6fc4-11ec-b831-482ae33c4a2d');
    11. INSERT INTO tb_order (id, money, content) VALUES ('b9451b98-6fc4-11ec-b831-482ae33c4a2d', 30, 'b9451bcc-6fc4-11ec-b831-482ae33c4a2d');
    12. INSERT INTO tb_order (id, money, content) VALUES ('b9488ec1-6fc4-11ec-b831-482ae33c4a2d', 560, 'b9488edb-6fc4-11ec-b831-482ae33c4a2d');
    13. INSERT INTO tb_order (id, money, content) VALUES ('b94be6e6-6fc4-11ec-b831-482ae33c4a2d', 10, 'b94be6ff-6fc4-11ec-b831-482ae33c4a2d');
    14. INSERT INTO tb_order (id, money, content) VALUES ('b94ee10d-6fc4-11ec-b831-482ae33c4a2d', 123, 'b94ee12c-6fc4-11ec-b831-482ae33c4a2d');
    15. INSERT INTO tb_order (id, money, content) VALUES ('b952492a-6fc4-11ec-b831-482ae33c4a2d', 145, 'b9524945-6fc4-11ec-b831-482ae33c4a2d');
    16. INSERT INTO tb_order (id, money, content) VALUES ('b95553ac-6fc4-11ec-b831-482ae33c4a2d', 543, 'b95553c8-6fc4-11ec-b831-482ae33c4a2d');
    17. INSERT INTO tb_order (id, money, content) VALUES ('b9581cdd-6fc4-11ec-b831-482ae33c4a2d', 17, 'b9581cfa-6fc4-11ec-b831-482ae33c4a2d');
    18. INSERT INTO tb_order (id, money, content) VALUES ('b95afc0f-6fc4-11ec-b831-482ae33c4a2d', 18, 'b95afc2a-6fc4-11ec-b831-482ae33c4a2d');
    19. INSERT INTO tb_order (id, money, content) VALUES ('b95daa99-6fc4-11ec-b831-482ae33c4a2d', 134, 'b95daab2-6fc4-11ec-b831-482ae33c4a2d');
    20. INSERT INTO tb_order (id, money, content) VALUES ('b9667e3c-6fc4-11ec-b831-482ae33c4a2d', 156, 'b9667e60-6fc4-11ec-b831-482ae33c4a2d');
    21. INSERT INTO tb_order (id, money, content) VALUES ('b96ab489-6fc4-11ec-b831-482ae33c4a2d', 175, 'b96ab4a5-6fc4-11ec-b831-482ae33c4a2d');
    22. INSERT INTO tb_order (id, money, content) VALUES ('b96e2942-6fc4-11ec-b831-482ae33c4a2d', 180, 'b96e295b-6fc4-11ec-b831-482ae33c4a2d');
    23. INSERT INTO tb_order (id, money, content) VALUES ('b97092ec-6fc4-11ec-b831-482ae33c4a2d', 123, 'b9709306-6fc4-11ec-b831-482ae33c4a2d');
    24. INSERT INTO tb_order (id, money, content) VALUES ('b973727a-6fc4-11ec-b831-482ae33c4a2d', 230, 'b9737293-6fc4-11ec-b831-482ae33c4a2d');
    25. INSERT INTO tb_order (id, money, content) VALUES ('b978840f-6fc4-11ec-b831-482ae33c4a2d', 560, 'b978843c-6fc4-11ec-b831-482ae33c4a2d');

    结果： 

    枚举分片

    介绍

    通过在配置文件中配置可能的枚举值, 指定数据分布到不同数据节点上, 本规则适用于按照省份、性别、状态拆分数据等业务 。

    配置

    schema.xml中逻辑表配置：

    2. <table name="tb_user" dataNode="dn4,dn5,dn6" rule="sharding-by-intfile-enumstatus"/>

    schema.xml中数据节点配置：

    1. <dataNode name="dn4" dataHost="dhost1" database="itcast" />
    2. <dataNode name="dn5" dataHost="dhost2" database="itcast" />
    3. <dataNode name="dn6" dataHost="dhost3" database="itcast" />

     ule.xml中分片规则配置：

    1. <tableRule name="sharding-by-intfile">
    2. 	<rule>
    3. 		<columns>sharding_idcolumns>
    4. 		<algorithm>hash-intalgorithm>
    5. 	rule>
    6. tableRule>
    7.  
    9. <tableRule name="sharding-by-intfile-enumstatus">
    10. 	<rule>
    11. 		<columns>statuscolumns>
    12. 		<algorithm>hash-intalgorithm>
    13. 	rule>
    14. tableRule>
    15.  
    16. <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
    17. 	<property name="defaultNode">2property>
    18. 	<property name="mapFile">partition-hash-int.txtproperty>
    19. function>

    partition-hash-int.txt ，内容如下 :

    1. 1=0
    2. 2=1
    3. 3=2

    分片规则属性含义：

    测试  

    配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表(修改表名小写)、并插入数据，查看数据分布情况。

    1. CREATE TABLE tb_user (
    2. 	id bigint(20) NOT NULL COMMENT 'ID',
    3. 	username varchar(200) DEFAULT NULL COMMENT '姓名',
    4. 	status int(2) DEFAULT '1' COMMENT '1: 未启用, 2: 已启用, 3: 已关闭',
    5. 	PRIMARY KEY (`id`)
    6. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    7.  
    8. insert into tb_user (id,username ,status) values(1,'Tom',1);
    9. insert into tb_user (id,username ,status) values(2,'Cat',2);
    10. insert into tb_user (id,username ,status) values(3,'Rose',3);
    11. insert into tb_user (id,username ,status) values(4,'Coco',2);
    12. insert into tb_user (id,username ,status) values(5,'Lily',1);
    13. insert into tb_user (id,username ,status) values(6,'Tom',1);
    14. insert into tb_user (id,username ,status) values(7,'Cat',2);
    15. insert into tb_user (id,username ,status) values(8,'Rose',3);
    16. insert into tb_user (id,username ,status) values(9,'Coco',2);
    17. insert into tb_user (id,username ,status) values(10,'Lily',1);

    结果：

    应用指定算法

    介绍

    运行阶段由应用自主决定路由到那个分片 , 直接根据**字符子串（必须是数字）**计算分片号。

    配置 

    schema.xml中逻辑表配置：

    2. <table name="tb_app" dataNode="dn4,dn5,dn6" rule="sharding-by-substring" />

    schema.xml中数据节点配置：

    1. <dataNode name="dn4" dataHost="dhost1" database="itcast" />
    2. <dataNode name="dn5" dataHost="dhost2" database="itcast" />
    3. <dataNode name="dn6" dataHost="dhost3" database="itcast" />

     rule.xml中分片规则配置：

    1. <tableRule name="sharding-by-substring">
    2. 	<rule>
    3. 		<columns>idcolumns>
    4. 		<algorithm>sharding-by-substringalgorithm>
    5. 	rule>
    6. tableRule>
    7. <function name="sharding-by-substring" class="io.mycat.route.function.PartitionDirectBySubString">
    8. 	<property name="startIndex">0property> 
    9. 	<property name="size">2property>
    10. 	<property name="partitionCount">3property>
    11. 	<property name="defaultPartition">0property>
    12. function>

    分片规则属性含义：

    示例说明 :

    id=05-100000002 , 在此配置中代表根据id中从 startIndex=0，开始，截取siz=2位数字即05，05就是获取的分区，如果没找到对应的分片则默认分配到defaultPartition 。

    测试

    配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。

    1. CREATE TABLE tb_app (
    2. 	id varchar(10) NOT NULL COMMENT 'ID',
    3. 	name varchar(200) DEFAULT NULL COMMENT '名称',
    4. 	PRIMARY KEY (`id`)
    5. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    6.  
    7. insert into tb_app (id,name) values('0000001','Testx00001');
    8. insert into tb_app (id,name) values('0100001','Test100001');
    9. insert into tb_app (id,name) values('0100002','Test200001');
    10. insert into tb_app (id,name) values('0200001','Test300001');
    11. insert into tb_app (id,name) values('0200002','TesT400001');

    结果：

     固定分片hash算法 

    介绍

    该算法类似于十进制的求模运算，但是为二进制的操作，例如，取 id 的二进制低 10 位 与1111111111 进行位 & 运算，位与运算最小值为0000000000，最大值为1111111111，转换为十进制，也就是位于0-1023之间。

    特点：

    • 如果是求模，连续的值，分别分配到各个不同的分片；但是此算法会将连续的值可能分配到相同的分片，降低事务处理的难度。
    • 可以均匀分配，也可以非均匀分配。
    • 分片字段必须为数字类型。

    配置

    schema.xml中逻辑表配置：

    2. <table name="tb_longhash" dataNode="dn4,dn5,dn6" rule="sharding-by-long-hash" />

     schema.xml中数据节点配置：

    1. <dataNode name="dn4" dataHost="dhost1" database="itcast" />
    2. <dataNode name="dn5" dataHost="dhost2" database="itcast" />
    3. <dataNode name="dn6" dataHost="dhost3" database="itcast" />

    rule.xml中分片规则配置：

    1. <tableRule name="sharding-by-long-hash">
    2. 	<rule>
    3. 		<columns>idcolumns>
    4. 		<algorithm>sharding-by-long-hashalgorithm>
    5. 	rule>
    6. tableRule>
    7.  
    9. <function name="sharding-by-long-hash" class="io.mycat.route.function.PartitionByLong">
    10. 	<property name="partitionCount">2,1property>
    11. 	<property name="partitionLength">256,512property>
    12. function>

     分片规则属性含义：

    约束 :

    1. 分片长度 : 默认最大2^10 , 为 1024 ;
    2. count, length的数组长度必须是一致的 ;

    以上分为三个分区:0-255,256-511,512-1023

    示例说明 :

    测试

    配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表（改小写）、并插入数据，查看数据分布情况。

    1. CREATE TABLE tb_longhash (
    2. 	id int(11) NOT NULL COMMENT 'ID',
    3. 	name varchar(200) DEFAULT NULL COMMENT '名称',
    4. 	firstChar char(1) COMMENT '首字母',
    5. 	PRIMARY KEY (`id`)
    6. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    7.  
    8. insert into tb_longhash (id,name,firstChar) values(1,'七匹狼','Q');
    9. insert into tb_longhash (id,name,firstChar) values(2,'八匹狼','B');
    10. insert into tb_longhash (id,name,firstChar) values(3,'九匹狼','J');
    11. insert into tb_longhash (id,name,firstChar) values(4,'十匹狼','S');
    12. insert into tb_longhash (id,name,firstChar) values(5,'六匹狼','L');
    13. insert into tb_longhash (id,name,firstChar) values(6,'五匹狼','W');
    14. insert into tb_longhash (id,name,firstChar) values(7,'四匹狼','S');
    15. insert into tb_longhash (id,name,firstChar) values(8,'三匹狼','S');
    16. insert into tb_longhash (id,name,firstChar) values(260,'两匹狼','L');

    结果：

    字符串hash解析算法

    介绍

    截取字符串中的指定位置的子字符串, 进行hash算法， 算出分片。

    配置 

    schema.xml中逻辑表配置：

    2. <table name="tb_strhash" dataNode="dn4,dn5" rule="sharding-by-stringhash" />

     schema.xml中数据节点配置：

    1. <dataNode name="dn4" dataHost="dhost1" database="itcast" />
    2. <dataNode name="dn5" dataHost="dhost2" database="itcast" />

    rule.xml中分片规则配置：

    1. <tableRule name="sharding-by-stringhash">
    2. 	<rule>
    3. 		<columns>namecolumns>
    4. 		<algorithm>sharding-by-stringhashalgorithm>
    5. 	rule>
    6. tableRule>
    7.  
    8. <function name="sharding-by-stringhash" class="io.mycat.route.function.PartitionByString">
    9. 	<property name="partitionLength">512property> 
    10. 	<property name="partitionCount">2property>
    11. 	<property name="hashSlice">0:2property>
    12. function>

     分片规则属性含义：

    示例说明：

    测试 

     配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。

    1. create table tb_strhash(
    2. 	name varchar(20) primary key,
    3. 	content varchar(100)
    4. )engine=InnoDB DEFAULT CHARSET=utf8mb4;
    5.  
    6. INSERT INTO tb_strhash (name,content) VALUES('T1001', UUID());
    7. INSERT INTO tb_strhash (name,content) VALUES('ROSE', UUID());
    8. INSERT INTO tb_strhash (name,content) VALUES('JERRY', UUID());
    9. INSERT INTO tb_strhash (name,content) VALUES('CRISTINA', UUID());
    10. INSERT INTO tb_strhash (name,content) VALUES('TOMCAT', UUID());

    按天分片算法

    介绍

    按照日期及对应的时间周期来分片。

    配置 

    schema.xml中逻辑表配置

    2. <table name="tb_datepart" dataNode="dn4,dn5,dn6" rule="sharding-by-date" />

    schema.xml中数据节点配置：

    1. <dataNode name="dn4" dataHost="dhost1" database="itcast" />
    2. <dataNode name="dn5" dataHost="dhost2" database="itcast" />
    3. <dataNode name="dn6" dataHost="dhost3" database="itcast" />

     rule.xml中分片规则配置

    1. <tableRule name="sharding-by-date">
    2. 	<rule>
    3. 		<columns>create_timecolumns>
    4. 		<algorithm>sharding-by-datealgorithm>
    5. 	rule>
    6. tableRule>
    7.  
    8. <function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate">
    9. 	<property name="dateFormat">yyyy-MM-ddproperty>
    10. 	<property name="sBeginDate">2022-01-01property>
    11. 	<property name="sEndDate">2022-01-30property>
    12. 	<property name="sPartionDay">10property>
    13. function>

    分片规则属性含义：

     测试

    配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。

    1. create table tb_datepart(
    2. 	id bigint not null comment 'ID' primary key,
    3. 	name varchar(100) null comment '姓名',
    4. 	create_time date null
    5. );
    6.  
    7. insert into tb_datepart(id,name ,create_time) values(1,'Tom','2022-01-01');
    8. insert into tb_datepart(id,name ,create_time) values(2,'Cat','2022-01-10');
    9. insert into tb_datepart(id,name ,create_time) values(3,'Rose','2022-01-11');
    10. insert into tb_datepart(id,name ,create_time) values(4,'Coco','2022-01-20');
    11. insert into tb_datepart(id,name ,create_time) values(5,'Rose2','2022-01-21');
    12. insert into tb_datepart(id,name ,create_time) values(6,'Coco2','2022-01-30');
    13. insert into tb_datepart(id,name ,create_time) values(7,'Coco3','2022-01-31');

    自然月分片

    介绍

    使用场景为按照月份来分片, 每个自然月为一个分片。

    配置

    schema.xml中逻辑表配置：

    2. <table name="tb_monthpart" dataNode="dn4,dn5,dn6" rule="sharding-by-month" />

     schema.xml中数据节点配置：

    1. <dataNode name="dn4" dataHost="dhost1" database="itcast" />
    2. <dataNode name="dn5" dataHost="dhost2" database="itcast" />
    3. <dataNode name="dn6" dataHost="dhost3" database="itcast" />

    rule.xml中分片规则配置：

    1. <tableRule name="sharding-by-month">
    2. 	<rule>
    3. 		<columns>create_timecolumns>
    4. 		<algorithm>partbymonthalgorithm>
    5. 	rule>
    6. tableRule>
    7. <function name="partbymonth" class="io.mycat.route.function.PartitionByMonth">
    8. 	<property name="dateFormat">yyyy-MM-ddproperty>
    9. 	<property name="sBeginDate">2022-01-01property>
    10. 	<property name="sEndDate">2022-03-31property>
    11. function>

     分片规则属性含义：

     测试

    配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。

    1. create table tb_monthpart(
    2. 	id bigint not null comment 'ID' primary key,
    3. 	name varchar(100) null comment '姓名',
    4. 	create_time date null
    5. );
    6.  
    7. insert into tb_monthpart(id,name ,create_time) values(1,'Tom','2022-01-01');
    8. insert into tb_monthpart(id,name ,create_time) values(2,'Cat','2022-01-10');
    9. insert into tb_monthpart(id,name ,create_time) values(3,'Rose','2022-01-31');
    10. insert into tb_monthpart(id,name ,create_time) values(4,'Coco','2022-02-20');
    11. insert into tb_monthpart(id,name ,create_time) values(5,'Rose2','2022-02-25');
    12. insert into tb_monthpart(id,name ,create_time) values(6,'Coco2','2022-03-10');
    13. insert into tb_monthpart(id,name ,create_time) values(7,'Coco3','2022-03-31');
    14. insert into tb_monthpart(id,name ,create_time) values(8,'Coco4','2022-04-10');
    15. insert into tb_monthpart(id,name ,create_time) values(9,'Coco5','2022-04-30');
  • 相关阅读:
    ModelSim相关实用设置
    spark应用实例
    【笔记】pyinstaller 封装含GUI的背景图及软件icon
    为什么创建 Redis 集群时会自动错开主从节点？
    STM32（五）：STM32指南者-按键控制灯开关实验
    怎么在PDF上画圈做标注？标注方法其实很简单
    Java中Arrays类中的数组操作方法详解
    带你学会指针进阶
    38-SpringMVC
    Linux基本操作指令(3)
  • 原文地址：https://blog.csdn.net/m0_47743175/article/details/128178100