ShardingSphere应用专题--4.1.1版本--Sharding-JDBC 字段加密之已上线业务加密（十）

「爱情、让人受尽委屈。」 2022-11-14 15:57 173阅读 0赞

## 前言 ##

1.基础的环境介绍请移步[ShardingSphere应用专题–4.1.1版本–sharding jdbc环境搭建（四）][ShardingSphere_4.1.1_sharding jdbc]  
你可以同时打开两个页面，避免因查找原始配置上下翻动。

2.ShardingSphere[官方文档][Link 1]更新不及时，很容易踩坑。贴出的4.x版本文档实际是4.0.1版本的，如果你准备使用该版本可以参考官方文档。本文使用的是此时最新的正式版本4.1.1版本，配置与官方文档配置不同。事实上，源码中有非常详细的版本配置文档，本文也是参考4.1.1 tag的源码配置。

3.ShardingSphere各版本差异很大，甚至核心依赖的包名都不一样，使用时，一定要确认使用哪个版本，目前调研的结果：3.x、4.0.1、4.1.1、5.0.0-alpha都存在很大的配置差异

4.关于新项目的字段加密的业务场景分析参阅：  
[ShardingSphere应用专题–4.1.1版本–Sharding-JDBC 字段加密之新业务加密（九）][ShardingSphere_4.1.1_Sharding-JDBC]

### 已上线业务改造 ###

#### 业务场景分析 ####

由于业务已经在线上运行，数据库里必然存有大量明文历史数据。现在的问题是如何让历史数据得以加密清洗、如何让增量数据得以加密处理、如何让业务在新旧两套数据系统之间进行无缝、透明化迁移。

#### 常规的解决方案 ####

##### （1）生产数据实时镜像+代码改造 #####

重新搭建一套和生产环境一模一样的预发环境，然后通过相关迁移洗数工具把生产环境的**存量原文数据**加密后存储到预发环境，而**新增数据**则通过例如MySQL主从复制及业务方自行开发的工具加密后存储到预发环境的数据库里，再把重构后可以进行加解密的代码部署到预发环境。这样生产环境是一套**以明文为核心的查询修改**的环境；预发环境是一套**以密文为核心加解密查询修改**的环境。在对比一段时间无误后，可以夜间操作将生产流量切到预发环境中。此方案相对安全可靠，只是时间、人力、资金、成本较高，主要包括：预发环境搭建、生产代码整改、相关辅助工具开发等。除非无路可走，否则业务开发人员一般是从入门到放弃。

##### （2）新增字段+代码改造 #####

*  新增加密字段，启动定时器清洗加密字段
 *  改造insert方法，数据加密存储进入加密字段–双写
 *  改造select方法，优先查加密字段，如果加密字段没有清洗完成，使用明文字段（根据逻辑加密或不处理）–双查
 *  所有数据都加密后，代码去除明文字段，去除双写双查逻辑
 *  最后删除数据库明文字段

这个方法最大的问题是代码改造量大。成本高，测试面大，需要开发和测试精准找到所有加密字段的数据入口和出口，稍有遗漏就会造成bug

#### Encrypt-JDBC解决方案 ####

业务开发人员最希望的做法是：减少资金费用的承担、最好不要修改业务代码、能够安全平滑迁移系统。于是，ShardingSphere的脱敏功能模块便应用而生。可分为三步进行：

##### 1.系统迁移前 #####

*  清空mydb测试库
 *  对于现在的测试demo，需要对的bill\_name字段进行脱敏处理.先造一些历史未加密的数据，共计6条  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70]

###### （1）数据库新增加密存储字段 ######

ALTER TABLE `mydb`.`bill` 
    ADD COLUMN `bill_name_cipher` varchar(255) DEFAULT '' COMMENT '账单名称（加密）' AFTER `bill_name`;

###### （2）脱敏配置规则 ######

#打印sql
    spring.shardingsphere.props.sql.show=true
    #设置单次请求可适用的最大线程数，以决定是线程限制还是内存限制。增大该参数可提高数据库元数据加载速度（默认为1）
    spring.shardingsphere.props.max.connections.size.per.query=3
    
    spring.shardingsphere.datasource.names=master
    
    spring.shardingsphere.datasource.master.type=com.zaxxer.hikari.HikariDataSource
    spring.shardingsphere.datasource.master.driver-class-name=com.mysql.cj.jdbc.Driver
    spring.shardingsphere.datasource.master.jdbc-url=jdbc:mysql://localhost:4406/mydb?characterEncoding=utf-8
    spring.shardingsphere.datasource.master.username=root
    spring.shardingsphere.datasource.master.password=111
    
    spring.shardingsphere.encrypt.tables.bill.columns.bill_name.plainColumn=bill_name
    spring.shardingsphere.encrypt.tables.bill.columns.bill_name.cipherColumn=bill_name_cipher
    spring.shardingsphere.encrypt.tables.bill.columns.bill_name.encryptor=encryptor_aes
    
    
    spring.shardingsphere.encrypt.encryptors.encryptor_aes.type=aes
    spring.shardingsphere.encrypt.encryptors.encryptor_aes.props.aes.key.value=654321
    #是否开启加密字段查询（默认为true）
    spring.shardingsphere.props.query.with.cipher.column=false

###### （3）脱敏配置规则说明 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 1]

1.逻辑字段名仍使用bill\_name,这样对应的sql就不用变化  
2.增加明文存储字段，即现在表中的bill\_name字段，在新业务上线中，使用的配置中没有这个配置  
3.加密字段指定为bill\_name\_chiper,在新业务上线中加密字段使用的就是原字段  
4. query.with.cipher.column设置为false，这个时候加密字段仅仅在数据库中存在，逻辑字段名（1配置）查询会一直映射到plainColunm对应字段，不会使用cipherColumn字段，修改时会做双写。

###### （4）代码测试 ######

*  插入  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 2]  
    通过逻辑表名映射，改写sql，实现数据双写

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 3]

明文仍然存储在bill\_name\_中，加密字段存储在bill\_name\_cipher字段

*  查询  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 4]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 5]

查询只走明文

*  修改  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 6]

![在这里插入图片描述][20210330110859928.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 7]  
同样是双写

###### （5）处理流程 ######

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qUWgNkc3-1617018829528)(https://shardingsphere.apache.org/document/current/img/encrypt/6.png)\]][img-qUWgNkc3-1617018829528_https_shardingsphere.apache.org_document_current_img_encrypt_6.png]

##### 2.系统迁移中 #####

###### （1）原始数据清洗 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 8]  
我们还存在的原始数据的加密字段没有数据，需要将明文数据加密后存储在该字段，SharidngSphere目前并没有提供自动清洗的能力（这个肯定可以做的），不过这个很好实现，启动一个定时任务扫描清洗就好，就部分就不详谈了。

手动清洗后的数据：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 9]

###### （2）切换映射，使用加密列 ######

修改配置

spring.shardingsphere.props.query.with.cipher.column=true

###### （3）代码测试 ######

insert，update就不测试了，还是双写，测试下查询  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 10]

这个时候，逻辑列的映射使用的时加密字段了

###### （4）处理流程 ######

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KNnNUId8-1617018829530)(https://shardingsphere.apache.org/document/current/img/encrypt/7.png)\]][img-KNnNUId8-1617018829530_https_shardingsphere.apache.org_document_current_img_encrypt_7.png]

*  迁移中，原始明文数据没有做任何改动，这样就可以保证只要加密字段查询出现任何问题，就可以立马回滚。回滚仅仅需要将spring.shardingsphere.props.query.with.cipher.column的配置修改为false即可，这样又会切换到plainColumn查询
 *  配合【服务治理】，可以做到动态刷新，无需重启服务。关于服务治理参阅：[ShardingSphere应用专题–4.1.1版本–服务治理（十四）][ShardingSphere_4.1.1]

##### 3. 系统迁移后 #####

加密列字段经过一段时间运行后，确认无问题，按照安全部门的要求，明文字段需要在数据库中删除了，但是我们的代码insert，和update还在双写，这个时候，仅需要将明文映射字段干掉，就可以完成整个最后阶段。

###### （1）最终阶段加密的配置 ######

#打印sql
    spring.shardingsphere.props.sql.show=true
    #设置单次请求可适用的最大线程数，以决定是线程限制还是内存限制。增大该参数可提高数据库元数据加载速度（默认为1）
    spring.shardingsphere.props.max.connections.size.per.query=3
    
    spring.shardingsphere.datasource.names=master
    
    spring.shardingsphere.datasource.master.type=com.zaxxer.hikari.HikariDataSource
    spring.shardingsphere.datasource.master.driver-class-name=com.mysql.cj.jdbc.Driver
    spring.shardingsphere.datasource.master.jdbc-url=jdbc:mysql://localhost:4406/mydb?characterEncoding=utf-8
    spring.shardingsphere.datasource.master.username=root
    spring.shardingsphere.datasource.master.password=111
            
    spring.shardingsphere.encrypt.tables.bill.columns.bill_name.cipherColumn=bill_name_cipher
    spring.shardingsphere.encrypt.tables.bill.columns.bill_name.encryptor=encryptor_aes
    
    
    spring.shardingsphere.encrypt.encryptors.encryptor_aes.type=aes
    spring.shardingsphere.encrypt.encryptors.encryptor_aes.props.aes.key.value=654321
    
    spring.shardingsphere.props.query.with.cipher.column=true

###### （2）处理流程 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 11]

###### （3）代码测试 ######

*  插入及修改  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 12]  
    ![在这里插入图片描述][20210330140950544.png]
 *  查询  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 13]

所有操作均不在涉及明文字段，这个时候，就可以在数据库删除明文字段了

## 总结 ##

**整个流程简单，透明。容错率高（可回滚）且成本低**

[ShardingSphere_4.1.1_sharding jdbc]: https://blog.csdn.net/qq_31457665/article/details/114991734
[Link 1]: https://shardingsphere.apache.org/document/legacy/4.x/document/cn/overview/
[ShardingSphere_4.1.1_Sharding-JDBC]: https://blog.csdn.net/qq_31457665/article/details/115307627
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70]: /images/20221022/c187127bba3b48a3b53ad610619158ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210330103919693.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210330110445723.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210330110544407.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210330110653580.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210330110705796.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210330110845849.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[20210330110859928.png]: https://img-blog.csdnimg.cn/20210330110859928.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210330110917903.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[img-qUWgNkc3-1617018829528_https_shardingsphere.apache.org_document_current_img_encrypt_6.png]: https://img-blog.csdnimg.cn/2021032920213691.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210330112100615.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210330112827785.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210330113233317.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[img-KNnNUId8-1617018829530_https_shardingsphere.apache.org_document_current_img_encrypt_7.png]: https://img-blog.csdnimg.cn/20210329202226304.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[ShardingSphere_4.1.1]: https://blog.csdn.net/qq_31457665/article/details/115331685
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20210330140759921.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20210330140917325.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70
[20210330140950544.png]: https://img-blog.csdnimg.cn/20210330140950544.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20210330144636790.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNDU3NjY1,size_16,color_FFFFFF,t_70