## 一、背景
自 ShardingSphere 5.0.0 版本发布以来，DistSQL 为 ShardingSphere 生态带来了强大的动态管理能力，通过 DistSQL，用户可以：
- 在线创建逻辑库；
- 动态配置规则（包括分片、数据加密、读写分离、数据库发现、影子库、全局规则等）；
- 实时调整存储资源；
- 即时切换事务类型；
- 随时开关 SQL 日志；
- 预览 SQL 路由结果；
- ...

同时，随着使用场景的深入，越来越多的 DistSQL 特性被发掘出来，众多宝藏语法也受到了用户的喜爱。
## 二、内容提要
本文将以数据分片为例，深度解析 Sharding 相关 DistSQL 的应用场景和使用技巧。同时，通过实践案例将一系列 DistSQL 语句进行串联，为读者展现一套完整实用的 DistSQL 分片管理方案。

本文案例中将用到以下 DistSQL：
![](http://img.blog.itpub.net/blog/2022/07/22/d069253e73924a1f.png?x-oss-process=style/bb)
## 三、实战演练
### 3.1 场景需求
- 创建两张分片表` t_order `和 `t_order_item`；
- 两张表均以` user_id `字段分库，以` order_id` 字段分表；
- 分片数量为 2 库 x 3 表；

如图：

![Alt](https://img-blog.csdnimg.cn/img_convert/ba3f5d7edbc2a94a5c5f41b36c07cc03.png)
### 3.2 环境准备

1. 准备可供访问的 MySQL 数据库实例，创建两个新库 `demo_ds_0`、`demo_ds_1`；
>以 MySQL 为例，也可使用 PostgreSQL 或 openGauss 数据库。

2. 部署 Apache ShardingSphere-Proxy 5.1.2 和 Apache ZooKeeper，其中 ZooKeeper 将作为治理中心，存储 ShardingSphere 元数据信息；

3. 配置 Proxy conf 目录下的 server.yaml，内容如下；

```
mode:
type: Cluster
  repository:
    type: ZooKeeper
    props:
      namespace: governance_ds
      server-lists: localhost:2181  # ZooKeeper 地址
      retryIntervalMilliseconds: 500
      timeToLiveSeconds: 60
      maxRetries: 3
      operationTimeoutMilliseconds: 500
  overwrite: false

rules:
  - !AUTHORITY
    users:
      - root@%:root
```
4. 启动 ShardingSphere-Proxy，并使用客户端连接到 Proxy，例如

```
mysql -h 127.0.0.1 -P 3307 -u root -p
```
### 3.3 创建分布式数据库
```
CREATE DATABASE sharding_db;

USE sharding_db;
```
1. 添加存储资源，对应之前准备的 MySQL 数据库
```
ADD RESOURCE ds_0 (
HOST=127.0.0.1,
    PORT=3306,
    DB=demo_ds_0,
    USER=root,
    PASSWORD=123456
), ds_1(
    HOST=127.0.0.1,
    PORT=3306,
    DB=demo_ds_1,
    USER=root,
    PASSWORD=123456
);
```
2. 查看存储资源
```
mysql> SHOW DATABASE RESOURCES\\G;
*************************** 1. row ***************************
                           name: ds_1
                           type: MySQL
                           host: 127.0.0.1
                           port: 3306
                             db: demo_ds_1
                            -- 省略部分属性
*************************** 2. row ***************************
                           name: ds_0
                           type: MySQL
                           host: 127.0.0.1
                           port: 3306
                             db: demo_ds_0
                            -- 省略部分属性
```
>查询语句加了 \G 是为了让输出格式更易读，非必需。

### 3.4 创建分片规则
ShardingSphere 分片规则支持“常规分片”和“自动分片”两种配置方式，它们的分片效果是等价的，区别在于“自动分片”的配置定义更加简洁，而“常规分片”配置方式更加灵活自主。

还不了解“自动分片”的同学可以参考：
[《DistSQL：像数据库一样使用 Apache ShardingSphere》](https://mp.weixin.qq.com/s?__biz=MzUzNjgwODk2Mw==&mid=2247485034&idx=1&sn=477c0f0c259c19e388dc8d6389a7ac61&chksm=faf1dd06cd8654109d79d959c4c78a5039f8a86511037c9d514b67f2044625cde4015c75f935&scene=21#wechat_redirect)

[《分片利器 AutoTable：为用户带来「管家式」分片配置体验》](https://mp.weixin.qq.com/s?__biz=MzUzNjgwODk2Mw==&mid=2247485282&idx=1&sn=b4c9269b75a60736d5afe3f1f7f44b87&chksm=faf1dc0ecd86551834a7a8b8468e1d483f6b916e0b9d781758900ed56768f8d4fb394a13f299&scene=21#wechat_redirect)

接下来，我们将采用“常规分片”的方式，使用 INLINE 表达式算法实现需求描述的分片场景。

#### 3.4.1 主键生成器
主键生成器能够为数据表生成分布式场景下安全的唯一主键，详情可阅读文档《分布式主键》（https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/key-generator/）。
1. 创建主键生成器
```
CREATE SHARDING KEY GENERATOR snowflake\_key\_generator \(
TYPE(NAME=SNOWFLAKE)
);
```
2. 查询主键生成器
```
mysql> SHOW SHARDING KEY GENERATORS;
+-------------------------+-----------+-------+
| name                    | type      | props |
+-------------------------+-----------+-------+
| snowflake_key_generator | snowflake | {}    |
+-------------------------+-----------+-------+
1 row in set (0.01 sec)
```

#### 3.4.2 分片算法
1. 创建一个分库算法，由` t_order `和 `t_order_item` 共用
```
-- 分库时按 user_id 对 2 取模
CREATE SHARDING ALGORITHM database_inline (
TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="ds_${user_id % 2}"))
);
```
2. 为` t_order `和` t_order_item `创建不同的分表算法
```
-- 分表时按 order_id 对 3 取模
CREATE SHARDING ALGORITHM t_order_inline (
TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="t_order_${order_id % 3}"))
);
CREATE SHARDING ALGORITHM t_order_item_inline (
TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="t_order_item_${order_id % 3}"))
);
```
3. 查询分片算法
```
mysql> SHOW SHARDING ALGORITHMS;
+---------------------+--------+---------------------------------------------------+
| name                | type   | props                                             |
+---------------------+--------+---------------------------------------------------+
| database_inline     | inline | algorithm-expression=ds_${user_id % 2}            |
| t_order_inline      | inline | algorithm-expression=t_order_${order_id % 3}      |
| t_order_item_inline | inline | algorithm-expression=t_order_item_${order_id % 3} |
+---------------------+--------+---------------------------------------------------+
3 rows in set (0.00 sec)
```

#### 3.4.3 默认分片策略
分片策略由分片键和分片算法组成，其概念可参考[《分片策略》](https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/sharding/)

分片策略包含分库策略（databaseStrategy）和分表策略（tableStrategy）。

由于` t_order `和` t_order_item` 的分库字段和分库算法相同，我们创建一个默认策略，未配置分库策略的分片表都使用它：
1. 创建默认分库策略
```
CREATE DEFAULT SHARDING DATABASE STRATEGY (
TYPE=STANDARD,SHARDING_COLUMN=user_id,SHARDING_ALGORITHM=database_inline
);
```
2.  查询默认策略
```
mysql> SHOW DEFAULT SHARDING STRATEGY\G;
*************************** 1. row ***************************
                    name: TABLE
                    type: NONE
         sharding_column:
 sharding_algorithm_name:
 sharding_algorithm_type:
sharding_algorithm_props:
*************************** 2. row ***************************
                    name: DATABASE
                    type: STANDARD
         sharding_column: user_id
 sharding_algorithm_name: database_inline
 sharding_algorithm_type: inline
sharding_algorithm_props: {algorithm-expression=ds_${user_id % 2}}
2 rows in set (0.00 sec)
```
>未配置默认分表策略，因此 TABLE 类型的默认策略是 NONE。

#### 3.4.4 分片规则
主键生成器和分片算法都已就绪，现在开始创建分片规则：
1. t_order
```
CREATE SHARDING TABLE RULE t_order (
DATANODES("ds_${0..1}.t_order_${0..2}"),
TABLE_STRATEGY(TYPE=STANDARD,SHARDING_COLUMN=order_id,SHARDING_ALGORITHM=t_order_inline),
KEY_GENERATE_STRATEGY(COLUMN=order_id,KEY_GENERATOR=snowflake_key_generator)
);
```
- DATANODES 指定了分片表的数据节点；

- TABLE_STRATEGY 指定了分表策略，其中 SHARDING_ALGORITHM 使用了已创建好的分片算法 **t_order_inline**；

- KEY_GENERATE_STRATEGY 指定该表的主键生成策略，若不需要主键生成，可省略该配置。
2. t_order_item
```
CREATE SHARDING TABLE RULE t_order_item (
DATANODES("ds_${0..1}.t_order_item_${0..2}"),
TABLE_STRATEGY(TYPE=STANDARD,SHARDING_COLUMN=order_id,SHARDING_ALGORITHM=t_order_item_inline),
KEY_GENERATE_STRATEGY(COLUMN=order_item_id,KEY_GENERATOR=snowflake_key_generator)
);
```
3. 查询分片规则
```
mysql> SHOW SHARDING TABLE RULES\G;
*************************** 1. row ***************************
                            table: t_order
                actual_data_nodes: ds_${0..1}.t_order_${0..2}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_${order_id % 3}
              key_generate_column: order_id
               key_generator_type: snowflake
              key_generator_props:
*************************** 2. row ***************************
                            table: t_order_item
                actual_data_nodes: ds_${0..1}.t_order_item_${0..2}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_item_${order_id % 3}
              key_generate_column: order_item_id
               key_generator_type: snowflake
              key_generator_props:
2 rows in set (0.00 sec)
```

?至此，`t_order` 和` t_order_item `的分片规则已配置完成。什么？有点复杂？

好吧，其实也可以忽略单独创建主键生成器、分片算法、默认策略的步骤，一步完成分片规则，让我们来加点糖。
### 3.5 语法糖
现在，需求中要增加一张分片表` t_order_detail`，我们可以这样一步完成分片规则的创建：
```
CREATE SHARDING TABLE RULE t_order_detail (
DATANODES("ds_${0..1}.t_order_detail_${0..1}"),
DATABASE_STRATEGY(TYPE=STANDARD,SHARDING_COLUMN=user_id,SHARDING_ALGORITHM(TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="ds_${user_id % 2}")))),
TABLE_STRATEGY(TYPE=STANDARD,SHARDING_COLUMN=order_id,SHARDING_ALGORITHM(TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="t_order_detail_${order_id % 3}")))),
KEY_GENERATE_STRATEGY(COLUMN=detail_id,TYPE(NAME=snowflake))
);
```
**说明**：
上述语句中指定了分库策略、分表策略、主键生成策略，但都没有引用已经存在的算法，因此 DistSQL 引擎会自动用输入的表达式创建相应的算法，供 `t_order_detail `分片规则使用。

此时我们再来查看**主键生成器**、**分片算法**和**分片规则**，结果如下：
1. 主键生成器
```
mysql> SHOW SHARDING KEY GENERATORS;
+--------------------------+-----------+-------+
| name                     | type      | props |
+--------------------------+-----------+-------+
| snowflake_key_generator  | snowflake | {}    |
| t_order_detail_snowflake | snowflake | {}    |
+--------------------------+-----------+-------+
2 rows in set (0.00 sec)
```
2. 分片算法
```
mysql> SHOW SHARDING ALGORITHMS;
+--------------------------------+--------+-----------------------------------------------------+
| name                           | type   | props                                               |
+--------------------------------+--------+-----------------------------------------------------+
| database_inline                | inline | algorithm-expression=ds_${user_id % 2}              |
| t_order_inline                 | inline | algorithm-expression=t_order_${order_id % 3}        |
| t_order_item_inline            | inline | algorithm-expression=t_order_item_${order_id % 3}   |
| t_order_detail_database_inline | inline | algorithm-expression=ds_${user_id % 2}              |
| t_order_detail_table_inline    | inline | algorithm-expression=t_order_detail_${order_id % 3} |
+--------------------------------+--------+-----------------------------------------------------+
5 rows in set (0.00 sec)
```
3. 分片规则
```
mysql> SHOW SHARDING TABLE RULES\G;
*************************** 1. row ***************************
                            table: t_order
                actual_data_nodes: ds_${0..1}.t_order_${0..2}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_${order_id % 3}
              key_generate_column: order_id
               key_generator_type: snowflake
              key_generator_props:
*************************** 2. row ***************************
                            table: t_order_item
                actual_data_nodes: ds_${0..1}.t_order_item_${0..2}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_item_${order_id % 3}
              key_generate_column: order_item_id
               key_generator_type: snowflake
              key_generator_props:
*************************** 3. row ***************************
                            table: t_order_detail
                actual_data_nodes: ds_${0..1}.t_order_detail_${0..1}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_detail_${order_id % 3}
              key_generate_column: detail_id
               key_generator_type: snowflake
              key_generator_props:
3 rows in set (0.01 sec)
```

**说明**：

`CREATE SHARDING TABLE RULE `语句中，DATABASE_STRATEGY、TABLE_STRATEGY 和 KEY_GENERATE_STRATEGY 均可以引用已有算法，达到复用的目的，也可以通过语法糖快速定义，差异是会创建额外的算法对象。用户可根据场景灵活搭配使用。
### 3.6 配置验证
规则创建完毕后，我们可以通过如下方式进行验证：
#### 3.6.1 检查节点分布
DistSQL 提供 `SHOW SHARDING TABLE NODES `的语法用于查看节点分布，帮助用户快速总览分片表的分布情况。使用方式如下：

![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/bedf8235fbdc195e1643bab13ec2dbdf.png#pic_center)
从分片表的节点分布观察，与需求描述的分布一致。
#### 3.6.2 SQL 预览
SQL 预览，也是验证配置的一种快捷的方式，语法是` PREVIEW sql`：
1. 无分片键查询，全路由

![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/f88fafd56381b08199120b549595726f.png#pic_center)
2. 指定 user_id 查询，单库路由

![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/9eb9b906d1b05e221ffe0a2906dc6fbf.png#pic_center)
3. 指定 user_id 和 order_id，单表路由

![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/8e8435921715c9a5b31bbaf4a1285be1.png#pic_center)
>单表路由扫描的分片表最少，效率最高。

### 3.7 辅助查询 DistSQL
在系统维护过程中，可能会出现不再使用的算法或存储资源需要释放，或是想要释放的资源被引用了无法删除，以下 DistSQL 可以为我们提供帮助：

#### 3.7.1 查询未使用的资源
1. 语法：SHOW UNUSED RESOURCES
2. 示例：

![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/c5945f027e263f4453891f7c6bb05dae.png#pic_center)
#### 3.7.2 查询未使用的主键生成器
1. 语法：SHOW UNUSED SHARDING KEY GENERATORS
2. 示例：

![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/6e992eebe87c4d06a23f6b3fc59e0aa0.png#pic_center)
#### 3.7.3 查询未使用的分片算法
1. 语法：SHOW UNUSED SHARDING ALGORITHMS
2. 示例：

![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/f5b80bc456e81e41c0a92501450fd50c.png#pic_center)
#### 3.7.4 查询使用目标存储资源的规则
1. 语法：SHOW RULES USED RESOURCE
2. 示例：
![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/88ee647f2537cb4bf805a069485ea168.png#pic_center)
>使用了该资源的所有规则都会查询出来，不限于Sharding Rule。

#### 3.7.5 查询使用目标主键生成器的分片规则
1. 语法：SHOW SHARDING TABLE RULES USED KEY GENERATOR
2. 示例：
![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/bea6ab835d4b8ba0ef8f47475a16b86b.png#pic_center)

#### 3.7.6 查询使用目标算法的分片规则
1. 语法：SHOW SHARDING TABLE RULES USED ALGORITHM
2. 示例：
![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/9dfb59284aca8809760f66453b375d20.png#pic_center)
## 4、结语
**本篇以常用的数据分片场景为例，介绍了 DistSQL 的使用流程和应用技巧。同时，DistSQL 提供了灵活的语法糖以帮助减少操作步骤，用户可灵活选择使用。**

在分片场景下，除了 INLINE 算法，DistSQL 也能完美支持其他的标准分片、复合分片、Hint 分片、自定义类分片算法，更多的应用案例将在后续的文章中为大家解读，敬请期待。

以上就是本次分享的全部内容，如果读者对 Apache ShardingSphere 有任何疑问或建议，欢迎在 GitHub issue 列表提出，或可前往中文社区交流讨论。

**GitHub issue**：[https://github.com/apache/shardingsphere/issues](https://github.com/apache/shardingsphere/issues)

**贡献指南**：[https://shardingsphere.apache.org/community/cn/contribute/](https://shardingsphere.apache.org/community/cn/contribute/)

**中文社区**：[https://community.sphere-ex.com/](https://community.sphere-ex.com/)
## 5、参考文献
1. **概念 DistSQL**：[https://shardingsphere.apache.org/document/current/cn/concepts/distsql/](https://shardingsphere.apache.org/document/current/cn/concepts/distsql/)
2. **概念 分布式主键**：[https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/key-generator/](https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/key-generator/)
3. **概念 分片策略**：[https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/sharding/](https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/sharding/)
4. **概念 行表达式**：[https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/inline-expression/](https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/inline-expression/)
5. **内置分片算法**：[https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/builtin-algorithm/sharding/](https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/builtin-algorithm/sharding/)
6. **用户手册**：[DistSQLhttps://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-proxy/distsql/syntax/](https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-proxy/distsql/syntax/)

## 作者
江龙滔，SphereEx 中间件研发工程师，Apache ShardingSphere Committer。
主要负责 DistSQL 及安全相关特性的创新与研发。

**欢迎点击链接，了解更多内容**：
Apache ShardingSphere 官网：[https://shardingsphere.apache.org/](https://shardingsphere.apache.org/)

Apache ShardingSphere GitHub 地址：[https://github.com/apache/shardingsphere](https://github.com/apache/shardingsphere)

SphereEx 官网：[https://www.sphere-ex.com](https://www.sphere-ex.com)

欢迎添加社区经理微信（ss_assistant_1）加入交流群，与众多 ShardingSphere 爱好者一同交流。

ITPub博客

DistSQL 深度解析：打造动态化的分布式数据库

最新文章