mysqlfilter--数据过滤工具

灰太狼 2022-08-11 00:41 192阅读 0赞

[mysqlfilter--数据过滤工具][mysqlfilter--]  2012-09-27 22:19:05

分类： Mysql/postgreSQL

# 1 目的 #

由于开发频繁请求数据，且请求数据包含用户的重要信息。为了用户信息的保密，需要对敏感的信息进行过滤。之前的处理方法是：DBA将需要的线上数据导出后，首先在临时环境下将数据恢复，然后根据过滤规则将数据进行修改，再将数据导出并发送给开发，最后清理临时环境。整个过程中，中间处理过程占据了大量的时间和空间资源。

为了简化该处理过程，使得DBA在导出线上数据后，即为过滤后的目标数据。基于该目的，修改mysqldump源码，增加过滤敏感信息功能，从而简化数据请求流程。

# 2 设计思路 #

mysqlfilter的敏感信息过滤主要设计思路：依据mysqldump中where条件的设计思想，从而过滤查询条件的方式，获取所需条件的数据内容。由此，在mysqldump中增加sets条件，通过将敏感字段的列出，用逗号分割，从而过滤掉敏感信息。此外，在mysqldump中添加rule条件，通过配置文件方式，将大量过滤条件通过配置文件，按照一定的规则，进行过滤处理。

sets条件的针对过滤条件比较简单的过滤方式，主要对少量比较特殊的条件进行过滤。而rule条件主要针对当dump大量库或表时，对多个表中的多个字段进行敏感数据过滤时，可以通过在规则文件中指定。

为了不影响现有的mysqldump导入/导出工具，将新的工具定义为mysqlfilter，使用方式同mysqldump一致，只是额外增加sets和rule参数。

# 3 详细设计 #

根据设计思路，将详细设计的过程分为两个方面：修改源码和增加代码。修改源码主要是对现有的mysqldump.c源码文件进行修改，使其处理增加的规则。代码增加部分主要包括过滤条件的存储设计，以及对过滤条件的相关操作。以下对这两个方面进行详细的设计。

## 3.1代码增加 ##

代码增加部分包括三个部分：过滤条件的存储结构、过滤条件的相关操作、过滤规则文件解析。

### 3.1.1 存储结构 ###

根据数据库、表和字段三级关系，将存储结构设计为链式队列。这是由于多个库之间以队列的方式进行存储，通过队列头可以遍历整个队列。并且每个库有多个表，多个表之间也是队列关系，每个库存储指向表队列头的指针。依次，每个表中存储一个指向多个字段和替换值的队列头的指针。通过这种链式结构，可以定位具体的过滤信息。

具体设计如下：

敏感字段结构体（sensitive\_field），主要包括字段（key）、替换字段的值（value）、以及指向下一个字段的指针（next）。此外，定义敏感字段队列头结构体（sensitive\_field\_head），有两个指针，分别指向敏感字段队列的头（tqh\_first）和尾（tqh\_last）。具体的关系如下图1所示。

[![26896862_13487562180X3o.jpg][]][26896862_13487562180X3o.jpg]

图1 敏感字段结构

敏感表结构体（sensitive\_table），包括表名（tb\_name）和指向敏感字段队列头的指针（field\_lists）。敏感表队列头结构体（sensitive\_table\_head）同sensitive\_field\_head设计，分别指向敏感表队列的头和尾。具体的关系如下图2所示。

[![26896862_1348756295PSFL.jpg][]][26896862_1348756295PSFL.jpg]

图2 敏感表结构

敏感库结构体（sensitive\_db）类似sensitive\_table的设计，包括库名（db\_name）和指向敏感表队列头的指针（table\_lists）。敏感库队列头结构体（sensitive\_db\_head）同sensitive\_field\_head设计，分别指向敏感库队列的头和尾。具体的关系如图3所示。

[![26896862_1348756378wrjS.jpg][]][26896862_1348756378wrjS.jpg]

图3 敏感库结构

根据以上结构体的设计，忽略具体的字段，仅仅关注结构的关系。整个数据结构关系布局如下所示：

[![26896862_1348756435ULMy.jpg][]][26896862_1348756435ULMy.jpg]

### 3.1.2 过滤条件相关操作 ###

过滤条件的相关操作，首先是对于队列的通用操作，其次是根据以上结构，对敏感字段、敏感表以及敏感的库进行初始化节点、查找节点、增加节点、删除节点、清除节点、析构节点等一些列操作。

### 3.1.3 过滤规则文件解析 ###

过滤规则文件解析，主要对通过flex来解析规则文件，然后通过bison执行响应的操作。该部分代码主要是关于规则制定的部分，需要熟悉flex规则和bison语法解析。具体原理和过程参考相关文档。

## 3.2源码修改 ##

源码的修改主要涉及增加参数选项、参数选项处理、修改dump处理流程以及。

### 3.2.1 添加参数选项 ###

在my\_long\_options中添加sets和rule选项。增加的选项需要定义相应的全局变量，用于获取输入参数的值。添加细节参考where参数选项的过程。

### 3.2.2 参数选项处理 ###

参数选项处理分别处理sets参数的输入值和rule参数输入的规则文件地址。其中sets参数的处理需要分解输入的替换策略，而rule参数的处理主要调用规则文件解析处理。

### 3.2.3 修改dump处理流程 ###

dump的处理流程是通过查询select \* from table的方式进行查询，然后获取查询出来的结果，组合成对应的插入语句。修改过程主要是将“\*”处理成对应字段，如果字段是敏感信息，用替换的信息代替字段。

# 4 编译安装 #

源码下载地址sourceforge：[https://sourceforge.net/projects/mysqlfilter/][https_sourceforge.net_projects_mysqlfilter]

github源码下载地址：git clone [https://github.com/HengWang/mysqlfilter.git][https_github.com_HengWang_mysqlfilter.git]

编译依赖mysql的源码，编译需要将过滤敏感信息相应的文件拷贝到mysql源码的client文件夹下。如果与源码文件冲突，则替换现有的源码文件。

过滤敏感信息相应的文件主要有：filter.h、filter.c、filter\_parser.y、filter\_lex.l、mysqlfilter.c。此外，还包括filter\_lex.l生成的lex.yy.c和filter\_parser.y生成的filter\_parser.h、filter\_parser.c文件。生成的文件可以通过相应的工具自己生成。

## 4.1 生成词法语法文件 ##

生成词法解析文件lex.yy.c：

<table> 
 <tbody> 
  <tr> 
   <td> <p>flex&nbsp;&nbsp;filter_lex.l</p> </td> 
  </tr> 
 </tbody> 
</table>

生成语法解析文件filter\_parser.h、filter\_parser.c：

<table> 
 <tbody> 
  <tr> 
   <td> <p>bison&nbsp;&nbsp;-bfilter –ofilter_parser.c -d filter_parser.y</p> </td> 
  </tr> 
 </tbody> 
</table>

## 4.2 源码编译、安装 ##

源码编译同mysql源码编译、安装通之前一样，没有任何区别。安装完成后，在安装目录bin下，有mysqlfilter可执行程序，表明安装成功。

# 5 总结 #

mysqlfilter是基于mysqldump，增加sets和rule两个参数，对敏感信息过滤，可以有效的提高DBA的处理效率，缩短DBA和开发需求之间的时间差。由于该工具仍然处于测试阶段，目前还没有对所有的函数进行测试。因此，该工具如果有什么问题，希望积极提出，进一步改进。

备注：该篇技术文档是与MySQL数据库中的“备份恢复”主题相关的技术主题。  
  
  
本文转载自：http://blog.chinaunix.net/uid-26896862-id-3361457.html

[mysqlfilter--]: http://blog.chinaunix.net/uid-26896862-id-3361457.html
[26896862_13487562180X3o.jpg]: http://blog.chinaunix.net/attachment/201209/27/26896862_13487562180X3o.jpg
[26896862_1348756295PSFL.jpg]: http://blog.chinaunix.net/attachment/201209/27/26896862_1348756295PSFL.jpg
[26896862_1348756378wrjS.jpg]: http://blog.chinaunix.net/attachment/201209/27/26896862_1348756378wrjS.jpg
[26896862_1348756435ULMy.jpg]: http://blog.chinaunix.net/attachment/201209/27/26896862_1348756435ULMy.jpg
[https_sourceforge.net_projects_mysqlfilter]: https://sourceforge.net/projects/mysqlfilter/
[https_github.com_HengWang_mysqlfilter.git]: https://github.com/HengWang/mysqlfilter.git