Mysql - 分库分表

介绍

问题分析

 随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增长，若采用单数据库进行数据存储，存在以下性能瓶颈：

1. IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO，效率较低。 请求数据太多，带宽不够，网络IO瓶颈。
2. CPU瓶颈：排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。

为了解决上述问题，我们需要对数据库进行分库分表处理。

拆分策略

分库分表的形式，主要是两种：垂直拆分和水平拆分。而拆分的粒度，一般又分为分库和分表，所以组成的拆分策略最终如下：

 垂直拆分

垂直分库：以表为依据，根据业务将不同表拆分到不同库中 

• 每个库的表结构都不一样。
• 每个库的数据也不一样。
• 所有库的并集是全量数据。

 垂直分表：以字段为依据，根据字段属性将不同字段拆分到不同表中。

• 每个表的结构都不一样。
• 每个表的数据也不一样，一般通过一列（主键/外键）关联。
• 所有表的并集是全量数据。

水平拆分

特点：

• 每个库的表结构都一样。
• 每个库的数据都不一样。
• 所有库的并集是全量数据。

水平分表

水平分表：以字段为依据，按照一定策略，将一个表的数据拆分到多个表中。  

特点：

• 每个表的表结构都一样。
• 每个表的数据都不一样。
• 所有表的并集是全量数据。

在业务系统中，为了缓解磁盘 IO 及 CPU 的性能瓶颈，到底是垂直拆分，还是水平拆分；具体是分

库，还是分表，都需要根据具体的业务需求具体分析。

实现技术

• shardingJDBC：基于AOP原理，在应用程序中对本地执行的SQL进行拦截，解析、改写、路由处理。需要自行编码配置实现，只支持java语言，性能较高。
• MyCat：数据库分库分表中间件，不用调整代码即可实现分库分表，支持多种语言，性能不及前者。

MyCat

介绍

Mycat 是开源的、活跃的、基于 Java 语言编写的 MySQL 数据库中间件。可以像使用 mysql 一样来使用mycat，对于开发人员来说根本感觉不到 mycat 的存在。

开发人员只需要连接 MyCat 即可，而具体底层用到几台数据库，每一台数据库服务器里面存储了什么数据，都无需关心。 具体的分库分表的策略，只需要在MyCat 中配置即可。

优势：

• 性能可靠稳定
• 强大的技术团队
• 体系完善
• 社区活跃

在 MyCat 的整体结构中，分为两个部分：上面的逻辑结构、下面的物理结构。

在 MyCat 的逻辑结构主要负责逻辑库、逻辑表、分片规则、分片节点等逻辑结构的处理，而具体的数据存储还是在物理结构，也就是数据库服务器中存储的。

 下载，安装

MyCat 下载，安装_naki_bb的博客-CSDN博客

Mycat 是采用 java 语言开发的开源的数据库中间件，支持 Windows 和 Linux 运行环境，下面介绍

MyCat 的 Linux 中的环境搭建。我们需要在准备好的服务器中安装如下软件。

• MySQL
• JDK
• Mycat

MyCat 入门

由于 tb_order 表中数据量很大，磁盘 IO 及容量都到达了瓶颈，现在需要对 tb_order 表进行数

据分片，分为三个数据节点，每一个节点主机位于不同的服务器上 , 具体的结构，参考下图：

 

服务器	安装软件	说明
192.168.200.210	JDK 、 Mycat	MyCat 中间件服务器
192.168.200.210	MySQL	分片服务器
192.168.200.213	MySQL	分片服务器
192.168.200.214	MySQL	分片服务器

并且在上述 3 台数据库中创建数据库 db01 并且关闭防火墙 。

# 开放指定3306端口
firewall-cmd --zone=public --add-port=3306/tcp -permanent
firewall-cmd -reload
 
 
 
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

Mycat 入门 - 配置

schema.xml

路径: 安装目录的/conf ， /usr/local/mycat/conf

 在schema.xml中配置逻辑库、逻辑表、数据节点、节点主机等相关信息。具体的配置如下：

"1.0"?>
mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	
	<schema name="DB01" checkSQLschema="true" sqlMaxLimit="100">
		
		<table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
	schema>
	
	<dataNode name="dn1" dataHost="dhost1" database="db01" />
	<dataNode name="dn2" dataHost="dhost2" database="db01" />
	<dataNode name="dn3" dataHost="dhost3" database="db01" />
	
	
	<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
		<heartbeat>select user()heartbeat>
		
		<writeHost host="master" url="jdbc:mysql://192.168.200.210:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234" />
	dataHost>
	<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
		<heartbeat>select user()heartbeat>
		<writeHost host="master" url="jdbc:mysql://192.168.200.213:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234" />
	dataHost>
	<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
		<heartbeat>select user()heartbeat>
		<writeHost host="master" url="jdbc:mysql://192.168.200.214:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234" />
	dataHost>
mycat:schema>

server.xml

路径: 安装目录的/conf ， /usr/local/mycat/conf

需要在 server.xml 中配置用户名、密码，以及用户的访问权限信息，具体的配置如下：

<user name="root" defaultAccount="true">
	
	<property name="password">123456property>
	
	<property name="schemas">DB01property>
	
	
user>
<user name="user">
	
	<property name="password">123456property>
	
	<property name="schemas">DB01property>
	
	<property name="readOnly">trueproperty>
user>

Mycat 入门 - 启动

配置完毕后，先启动涉及到的 3 台分片服务器，然后启动 MyCat 服务器。切换到 Mycat 的安装目录，执行如下指令，启动Mycat ：

在mycat的安装目录下

#启动 
bin/mycat start 
 
#停止 
bin/mycat stop

Mycat 启动之后，占用端口号 8066 。

启动完毕之后，可以查看 logs 目录下的启动日志，查看 Mycat 是否启动完成。

Mycat 入门 - 测试

1.连接mycat

mysql -h 192.168.200.210 -P 8066 -uroot -p123456

我们看到我们是通过 MySQL 的指令来连接的 MyCat ，因为 MyCat 在底层实际上是模拟了 MySQL 的协议

 2.数据测试

然后就可以在 MyCat 中来创建表，并往表结构中插入数据，查看数据在 MySQL 中的分布情况。

-- 创建表 三个数据库节点会同时创建
CREATE TABLE TB_ORDER
(
    id    BIGINT(20)   NOT NULL,
    title VARCHAR(100) NOT NULL,
    PRIMARY KEY (id)
) ENGINE = INNODB
  DEFAULT CHARSET = utf8; 
 
-- 插入数据会落到 第一个数据库节点
INSERT INTO TB_ORDER(id,title) VALUES(1,'goods1'); 
-- 插入数据会落到 第一个数据库节点
INSERT INTO TB_ORDER(id,title) VALUES(2,'goods2'); 
-- 插入数据会落到 第一个数据库节点
INSERT INTO TB_ORDER(id,title) VALUES(3,'goods3'); 
-- 插入数据会落到 第一个数据库节点
INSERT INTO TB_ORDER(id,title) VALUES(5000000,'goods5000000'); 
 
-- 插入数据会落到 第二个数据库节点
INSERT INTO TB_ORDER(id,title) VALUES(5000001,'goods5000001'); 
-- 插入数据会落到 第二个数据库节点
INSERT INTO TB_ORDER(id,title) VALUES(10000000,'goods10000000');
 
-- 插入数据会落到 第三个数据库节点 
INSERT INTO TB_ORDER(id,title) VALUES(10000001,'goods10000001'); 
-- 插入数据会落到 第三个数据库节点 
INSERT INTO TB_ORDER(id,title) VALUES(15000000,'goods15000000'); 
 
-- 会报错
INSERT INTO TB_ORDER(id,title) VALUES(15000001,'goods15000001');

• 如果id的值在1-500w之间，数据将会存储在第一个分片数据库中。
• 如果id的值在500w-1000w之间，数据将会存储在第二个分片数据库中。
• 如果id的值在1000w-1500w之间，数据将会存储在第三个分片数据库中。
• 如果id的值超出1500w，在插入数据时，将会报错。

而我们选择的 “auto-sharding-long” 分片规则如下

 0-500W在第一个分片，500W-1000W在第二个分片，1000W-1200W在第三个分片，配置的上限只有1500W，如果超过这个限制就会报错.

Mycat配置

schema.xml

• schema标签
• datanode标签
• datahost标签

schema标签

1. 定义逻辑库

核心属性：

• name：指定自定义的逻辑库库名
• checkSQLschema：在SQL语句操作时指定了数据库名称，执行时是否自动去除；true：自动去除，false：不自动去除
• sqlMaxLimit：如果未指定limit进行查询，列表查询模式查询多少条记录

2.schema 中的table定义逻辑表

table 标签定义了 MyCat 中逻辑库 schema 下的逻辑表 , 所有需要拆分的表都需要在 table 标签中定

义 。

核心属性：

• name：定义逻辑表表名，在该逻辑库下唯一
• dataNode：定义逻辑表所属的dataNode，该属性需要与dataNode标签中name对应；多个 dataNode逗号分隔
• rule：分片规则的名字，分片规则名字是在rule.xml中定义的
• primaryKey：逻辑表对应真实表的主键
• type：逻辑表的类型，目前逻辑表只有全局表和普通表，如果未配置，就是普通表；全局表，配置为 global

datanode 标签

核心属性：

• name：定义数据节点名称
• dataHost：数据库实例主机名称，引用自 dataHost 标签中name属性
• database：定义分片所属数据库

datahost标签

• name：唯一标识，供上层标签使用
• maxCon/minCon：最大连接数/最小连接数
• balance：负载均衡策略，取值 0,1,2,3
• writeType：写操作分发方式（0：写操作转发到第一个writeHost，第一个挂了，切换到第二 个；1：写操作随机分发到配置的writeHost）
• dbDriver：数据库驱动，支持 native、jdbc

rule.xml

server.xml

 server.xml配置文件包含了MyCat的系配置信息，主要有两个重要的标签：system、user

1.system标签

 主要配置MyCat中的系统配置信息，对应的系统配置项及其含义，如下：

2.user标签

 配置MyCat中的用户、访问密码，以及用户针对于逻辑库、逻辑表的权限信息，具体的权限描述方式及配置说明如下：

 privileges 标签的注释放开。 在 privileges 下的schema标签中配置的dml属性配置的是逻辑库的权限。 在privileges的schema下的table标签的dml属性中配置逻辑表的权限。

MyCat分片

垂直拆分

在业务系统中 , 涉及以下表结构 , 但是由于用户与订单每天都会产生大量的数据 , 单台服务器的数据

存储及处理能力是有限的 , 可以对数据库表进行拆分 , 原有的数据库表如下。

现在考虑将其进行垂直分库操作，将商品相关的表拆分到一个数据库服务器，订单表拆分的一个数据库服务器，用户及省市区表拆分到一个服务器。最终结构如下：

 

 

 配置

schema.xml

<schema name="SHOPPING" checkSQLschema="true" sqlMaxLimit="100">
 
	<table name="tb_goods_base" dataNode="dn1" primaryKey="id" />
	<table name="tb_goods_brand" dataNode="dn1" primaryKey="id" />
	<table name="tb_goods_cat" dataNode="dn1" primaryKey="id" />
	<table name="tb_goods_desc" dataNode="dn1" primaryKey="goods_id" />
	<table name="tb_goods_item" dataNode="dn1" primaryKey="id" />
	
	<table name="tb_order_item" dataNode="dn2" primaryKey="id" />
	<table name="tb_order_master" dataNode="dn2" primaryKey="order_id" />
	<table name="tb_order_pay_log" dataNode="dn2" primaryKey="out_trade_no" />
	
	<table name="tb_user" dataNode="dn3" primaryKey="id" />
	<table name="tb_user_address" dataNode="dn3" primaryKey="id" />
	<table name="tb_areas_provinces" dataNode="dn3" primaryKey="id"/>
	<table name="tb_areas_city" dataNode="dn3" primaryKey="id"/>
	<table name="tb_areas_region" dataNode="dn3" primaryKey="id"/>
schema>
<dataNode name="dn1" dataHost="dhost1" database="shopping" />
<dataNode name="dn2" dataHost="dhost2" database="shopping" />
<dataNode name="dn3" dataHost="dhost3" database="shopping" />
<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
	<heartbeat>select user()heartbeat>
	<writeHost host="master" url="jdbc:mysql://192.168.200.210:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234" />
dataHost>
<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
	<heartbeat>select user()heartbeat>
	<writeHost host="master" url="jdbc:mysql://192.168.200.213:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234" />
dataHost>
<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
	<heartbeat>select user()heartbeat>
	<writeHost host="master" url="jdbc:mysql://192.168.200.214:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234" />
dataHost>

server.xml

<user name="root" defaultAccount="true">
	<property name="password">123456property>
	<property name="schemas">SHOPPINGproperty>
	
	
user>
<user name="user">
	<property name="password">123456property>
	<property name="schemas">SHOPPINGproperty>
	<property name="readOnly">trueproperty>
user>

重启mycat

逻辑表的概念都是mycat中的，所以table中的表在物理节点是不存在的，需要用mycat手动执行建表语句，mycat在根据配置的逻辑表与分片节点-配置的关系，在对应的物理节点创建对应的表。

测试

重新启动 MyCat 后，在 mycat 的命令行中，通过 source 指令导入表结构，以及对应的数据，查看数据分布情况。

source /root/shopping-table.sql 
source /root/shopping-insert.sql

将表结构及对应的测试数据导入之后，可以检查一下各个数据库服务器中的表结构分布情况。 检查是否和我们准备工作中规划的服务器一致。

1） 查询用户的收件人及收件人地址信息(包含省、市、区)。

在MyCat的命令行中，当我们执行以下多表联查的SQL语句时，可以正常查询出数据。

select ua.user_id, ua.contact, p.province, c.city, r.area , ua.address from tb_user_address ua ,tb_areas_city c , tb_areas_provinces p ,tb_areas_region r where ua.province_id = p.provinceid and ua.city_id = c.cityid and ua.town_id = r.areaid ;

 2）查询每一笔订单及订单的收件地址信息(包含省、市、区)。

实现该需求对应的 SQL 语句如下：

SELECT order_id , payment ,receiver, province , city , area FROM tb_order_master o , tb_areas_provinces p , tb_areas_city c , tb_areas_region r WHERE o.receiver_province = p.provinceid AND o.receiver_city = c.cityid AND o.receiver_region = r.areaid ;

但是现在存在一个问题，订单相关的表结构是在 192.168.200.213 数据库服务器中，而省市区的数

据库表是在 192.168.200.214 数据库服务器中。那么在 MyCat 中执行是否可以成功呢？

经过测试，我们看到， SQL 语句执行报错。原因就是因为 MyCat 在执行该 SQL 语句时，需要往具体的数据库服务器中路由，而当前没有一个数据库服务器完全包含了订单以及省市区的表结构，造成SQL 语句失败，报错。

对于上述的这种现象，我们如何来解决呢？ 下面我们介绍的全局表，就可以轻松解决这个问题。

全局表

对于省、市、区 / 县表 tb_areas_provinces , tb_areas_city , tb_areas_region ，是属于

数据字典表，在多个业务模块中都可能会遇到，可以将其设置为全局表，利于业务操作。

修改 schema.xml 中的逻辑表的配置，修改 tb_areas_provinces 、 tb_areas_city 、

tb_areas_region 三个逻辑表，增加 type 属性，配置为 global ，就代表该表是全局表，就会在

所涉及到的 dataNode 中创建给表。对于当前配置来说，也就意味着所有的节点中都有该表了。

<table name="tb_areas_provinces" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
<table name="tb_areas_city" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/> 
<table name="tb_areas_region" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>

配置完毕后，重新启动 MyCat 。

1). 删除原来每一个数据库服务器中的所有表结构

2). 通过 source 指令，导入表及数据

source /root/shopping-table.sql 
source /root/shopping-insert.sql

3). 检查每一个数据库服务器中的表及数据分布，看到三个节点中都有这三张全局表

4). 然后再次执行上面的多表联查的 SQL 语句

SELECT order_id , payment ,receiver, province , city , area FROM tb_order_master o , tb_areas_provinces p , tb_areas_city c , tb_areas_region r WHERE o.receiver_province = p.provinceid AND o.receiver_city = c.cityid AND o.receiver_region = r.areaid ;

是可以正常执行成功的。

5). 当在 MyCat 中更新全局表的时候，我们可以看到，所有分片节点中的数据都发生了变化，每个节点的全局表数据时刻保持一致。

 水平拆分

场景

在业务系统中 , 有一张表 ( 日志表 ), 业务系统每天都会产生大量的日志数据 , 单台服务器的数据存

储及处理能力是有限的 , 可以对数据库表进行拆分

 

 配置

1） schema.xml

<schema name="ITCAST" checkSQLschema="true" sqlMaxLimit="100">
	<table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long" />
schema>
<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

tb_log 表最终落在 3 个节点中，分别是 dn4 、 dn5 、 dn6 ，而具体的数据分别存储在 dhost1 、

dhost2 、 dhost3 的 itcast 数据库中。

2 ) server.xml

配置 root 用户既可以访问 SHOPPING 逻辑库，又可以访问 ITCAST 逻辑库。

<user name="root" defaultAccount="true">
	<property name="password">123456property>
	<property name="schemas">SHOPPING,ITCASTproperty>
	
	
user>

测试

配置完毕后，重新启动 MyCat ，然后在 mycat 的命令行中，执行如下 SQL 创建表、并插入数据，查看数据分布情况。

CREATE TABLE tb_log
(
    id              bigint(20) NOT NULL COMMENT 'ID',
    model_name      varchar(200) DEFAULT NULL COMMENT '模块名',
    model_value     varchar(200) DEFAULT NULL COMMENT '模块值',
    return_value    varchar(200) DEFAULT NULL COMMENT '返回值',
    return_class    varchar(200) DEFAULT NULL COMMENT '返回值类型',
    operate_user    varchar(20)  DEFAULT NULL COMMENT '操作用户',
    operate_time    varchar(20)  DEFAULT NULL COMMENT '操作时间',
    param_and_value varchar(500) DEFAULT NULL COMMENT '请求参数名及参数值',
    operate_class   varchar(200) DEFAULT NULL COMMENT '操作类',
    operate_method  varchar(200) DEFAULT NULL COMMENT '操作方法',
    cost_time       bigint(20)   DEFAULT NULL COMMENT '执行方法耗时, 单位 ms',
    source          int(1)       DEFAULT NULL COMMENT '来源 : 1 PC , 2 Android , 3 IOS',
    PRIMARY KEY (id)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4;
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time，source) VALUES('1','user','insert','success','java.lang.String','10001','2022-01-06 18:12:28','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.contro ller.UserController','insert','10',1); 
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time，source) VALUES('2','user','insert','success','java.lang.String','10001','2022-01-06 18:12:27','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.contro ller.UserController','insert','23',1); 
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time，source) VALUES('3','user','update','success','java.lang.String','10001','2022-01-06 18:16:45','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.contro ller.UserController','update','34',1); 
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time，source) VALUES('4','user','update','success','java.lang.String','10001','2022-01-06 18:16:45','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.contro ller.UserController','update','13',2); 
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time，source) VALUES('5','user','insert','success','java.lang.String','10001','2022-01-06 18:30:31','{\"age\":\"200\",\"name\":\"TomCat\",\"gender\":\"0\"}','cn.itcast.co ntroller.UserController','insert','29',3); 
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time，source) VALUES('6','user','find','success','java.lang.String','10001','2022-01-06 18:30:31','{\"age\":\"200\",\"name\":\"TomCat\",\"gender\":\"0\"}','cn.itcast.co ntroller.UserController','find','29',2);

因为分片规则为mod-long,取模，并且默认的配置个数为3

所以id=3,6 会数据会落到第一个节点

所以id=1,4 会数据会落到第二个节点

所以id=2,5 会数据会落到第三个节点

Mycat 分片规则

1.范围分片

根据指定的字段及其配置的范围与数据节点的对应情况， 来决定该数据属于哪一个分片。

缺点: 超过设置的上限时，需要配置defaultNode属性，否则会插入报错，需要增加分片节点以扩大上限

 配置

schema.xml

逻辑表配置

<table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

数据节点配置

<dataNode name="dn1" dataHost="dhost1" database="db01" /> 
<dataNode name="dn2" dataHost="dhost2" database="db01" /> 
<dataNode name="dn3" dataHost="dhost3" database="db01" />

rule.xml 分片规则配置

<tableRule name="auto-sharding-long">
	<rule>
		
		<columns>idcolumns>
		<algorithm>rang-longalgorithm>
	rule>
tableRule>
<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
	<property name="mapFile">autopartition-long.txtproperty>
	
	<property name="defaultNode">0property>
function>

属性含义

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
mapFile	对应的外部配置文件
type	默认值为 0 ; 0 表示 Integer , 1 表示 String
defaultNode	默认节点 默认节点的所用 : 枚举分片时 , 如果碰到不识别的枚举值 , 就让它路由到默认节点 ; 如果没有默认值 , 碰到不识别的则报错 。

在 rule.xml 中配置分片规则时，关联了一个映射配置文件 autopartition-long.txt ，该配置文

件的配置如下：

# range start-end ,data node index 
# K=1000,M=10000. 
0-500M=0 
500M-1000M=1 
1000M-1500M=2

含义： 0-500 万之间的值，存储在 0 号数据节点 ( 数据节点的索引从 0 开始 ) ； 500 万 -1000 万之间的

数据存储在 1 号数据节点 ； 1000 万 -1500 万的数据节点存储在 2 号节点 ；

2.取模分片

根据指定的字段值与节点数量进行求模运算，根据运算结果， 来决定该数据属于哪一个分片。

配置

schema.xml

逻辑表配置:

<table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="mod-long">
	<rule>
		<columns>idcolumns>
		<algorithm>mod-longalgorithm>
	rule>
tableRule>
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
	<property name="count">3property>
function>

属性说明：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
count	数据节点的数量

该分片规则，主要是针对于数字类型的字段适用。 在前面水平拆分的演示中，我们选择的就是取模分片。

3.一致性hash分片

所谓一致性哈希，相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来数据的分区位置，有效的解决了分布式数据的拓容问题。

配置

schema.xml

逻辑表配置:

 
<table name="tb_order" dataNode="dn4,dn5,dn6" rule="sharding-by-murmur" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-murmur">
	<rule>
		<columns>idcolumns>
		<algorithm>murmuralgorithm>
	rule>
tableRule>
<function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash">
	<property name="seed">0property>
	
	<property name="count">3property>
	<property name="virtualBucketTimes">160property>
function>

属性说明：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
seed	创建 murmur_hash 对象的种子，默认 0
count	要分片的数据库节点数量，必须指定，否则没法分片
virtualBucketTimes	一个实际的数据库节点被映射为这么多虚拟节点，默认是 160 倍，也就是虚拟节点数是物理节点数的160 倍 ;virtualBucketTimes*count 就是虚拟结点数量 ;
weightMapFile	节点的权重，没有指定权重的节点默认是 1 。以 properties 文件的格式填写，以从0 开始到 count-1 的整数值也就是节点索引为 key ，以节点权重值为值。所有权重值必须是正整数，否则以1 代替
bucketMapPath	用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，会把虚拟节点的murmur hash 值与物理节点的映射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何东西

 4.枚举分片

通过在配置文件中配置可能的枚举值 , 指定数据分布到不同数据节点上 , 本规则适用于按照省份、性

别、状态拆分数据等业务 。

 配置

schema.xml

逻辑表配置:

 
<table name="tb_user" dataNode="dn4,dn5,dn6" rule="sharding-by-intfile-enumstatus" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-intfile-enumstatus">
	<rule>
		
		<columns>statuscolumns>
		<algorithm>hash-intalgorithm>
	rule>
tableRule>
 
<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
	<property name="defaultNode">2property>
	<property name="mapFile">partition-hash-int.txtproperty>
function>

partition-hash-int.txt ，内容如下 :

1=0 
2=1 
3=2

属性说明：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与 function 的对应关系
class	指定该分片算法对应的类
mapFile	对应的外部配置文件
type	默认值为 0 ; 0 表示 Integer , 1 表示 String
defaultNode	默认节点 ; 小于 0 标识不设置默认节点 , 大于等于 0 代表设置默认节点 ; 默认节点的所用: 枚举分片时 , 如果碰到不识别的枚举值 , 就让它路由到默认节点 ; 如果没有默认值 , 碰到不识别的则报错 。

5.应用指定算法

 运行阶段由应用自主决定路由到那个分片 , 直接根据字符子串（必须是数字）计算分片号。

  配置

schema.xml

逻辑表配置:

 
<table name="tb_app" dataNode="dn4,dn5,dn6" rule="sharding-by-substring" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-substring">
	<rule>
		<columns>idcolumns>
		<algorithm>sharding-by-substringalgorithm>
	rule>
tableRule>
 
<function name="sharding-by-substring" class="io.mycat.route.function.PartitionDirectBySubString">
	<property name="startIndex">0property>
	
	<property name="size">2property>
	<property name="partitionCount">3property>
	<property name="defaultPartition">0property>
function>

属性说明：

6.固定分片hash算法

进制，也就是位于0-1023之间。

• 如果是求模，连续的值，分别分配到各个不同的分片；但是此算法会将连续的值可能分配到相同的分片，降低事务处理的难度。
• 可以均匀分配，也可以非均匀分配。
• 分片字段必须为数字类型。

  配置

schema.xml

逻辑表配置:

 
<table name="tb_longhash" dataNode="dn4,dn5,dn6" rule="sharding-by-long-hash" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-long-hash">
	<rule>
		<columns>idcolumns>
		<algorithm>sharding-by-long-hashalgorithm>
	rule>
tableRule>
<function name="sharding-by-long-hash" class="io.mycat.route.function.PartitionByLong">
	
	<property name="partitionCount">2,1property>
	
	<property name="partitionLength">256,512property>
function>

属性说明：

7.字符串hash解析算法

 截取字符串中的指定位置的子字符串, 进行hash算法， 算出分片。

  配置

schema.xml

逻辑表配置:

 
<table name="tb_strhash" dataNode="dn4,dn5" rule="sharding-by-stringhash" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-stringhash">
	<rule>
		<columns>namecolumns>
		<algorithm>sharding-by-stringhashalgorithm>
	rule>
tableRule>
 
<function name="sharding-by-stringhash" class="io.mycat.route.function.PartitionByString">
	<property name="partitionLength">512property>
	
	<property name="partitionCount">2property>
	<property name="hashSlice">0:2property>
function>

属性说明：

 8.按天分片算法

  配置

schema.xml

逻辑表配置:

 
<table name="tb_datepart" dataNode="dn4,dn5,dn6" rule="sharding-by-date" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-date">
	<rule>
		<columns>create_timecolumns>
		<algorithm>sharding-by-datealgorithm>
	rule>
tableRule>
 
<function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate">
	<property name="dateFormat">yyyy-MM-ddproperty>
	<property name="sBeginDate">2022-01-01property>
	<property name="sEndDate">2022-01-30property>
	<property name="sPartionDay">10property>
function>
 

属性说明：

9.自然月分片

 配置

schema.xml

逻辑表配置:

 
<table name="tb_monthpart" dataNode="dn4,dn5,dn6" rule="sharding-by-month" />

 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml分片规则配置：

<tableRule name="sharding-by-month">
	<rule>
		<columns>create_timecolumns>
		<algorithm>partbymonthalgorithm>
	rule>
tableRule>
 
<function name="partbymonth" class="io.mycat.route.function.PartitionByMonth">
	<property name="dateFormat">yyyy-MM-ddproperty>
	<property name="sBeginDate">2022-01-01property>
	<property name="sEndDate">2022-03-31property>
function>

属性说明：

说明：因为只有3个分片节点，所以添加4月日期的数据时会插入第一个节点，5月插入第二个节点，6月插入第三个节点，以此类推 

Mycat 管理 和 监控

MyCat 管理及监控_naki_bb的博客-CSDN博客