TiDB数据库备份恢复与数据迁移

川长思鸟来 2022-11-05 01:58 449阅读 0赞

# TiDB数据库备份恢复与数据迁移 #

*  [数据迁移][Link 1]
    
     *  [使用 `mydumper`/`loader` 全量导入数据][mydumper_loader]
        
         *  [`mydumper`/`loader` 全量导入数据最佳实践][mydumper_loader 1]
            
             *  [某次导入示例，以及相关的配置][Link 2]
         *  [从 MySQL 导出数据][MySQL]
         *  [向 TiDB 导入数据][TiDB]
     *  [使用 `syncer` 增量导入数据][syncer]
        
         *  [下载 TiDB 企业版工具集 (Linux)][TiDB _ _Linux]
         *  [获取同步 position][position]
         *  [启动 `syncer`][syncer 1]
         *  [在 MySQL 插入新的数据][MySQL 1]

#  #

# 数据迁移 #

# #

## 使用 `mydumper`/`loader` 全量导入数据 ##

`mydumper` 是一个更强大的数据迁移工具，具体可以参考 [https://github.com/maxbube/mydumper][https_github.com_maxbube_mydumper]。

我们使用 `mydumper` 从 MySQL 导出数据，然后用 `loader` 将其导入到 TiDB 里面。

> 注意：虽然 TiDB 也支持使用 MySQL 官方的 `mysqldump` 工具来进行数据的迁移工作，但相比于 `mydumper` / `loader`，性能会慢很多，大量数据的迁移会花费很多时间，这里我们并不推荐。

## ##

### `mydumper`/`loader` 全量导入数据最佳实践 ###

为了快速的迁移数据 (特别是数据量巨大的库), 可以参考下面建议

*  mydumper 导出数据至少要拥有 `SELECT` , `RELOAD` , `LOCK TABLES` 权限
 *  使用 mydumper 导出来的数据文件尽可能的小, 最好不要超过 64M, 可以设置参数 -F 64
 *  loader的 -t 参数可以根据 tikv 的实例个数以及负载进行评估调整，例如 3个 tikv 的场景， 此值可以设为 3 \*（1 ～ n)；当 tikv 负载过高，loader 以及 tidb 日志中出现大量 `backoffer.maxSleep 15000ms is exceeded` 可以适当调小该值，当 tikv 负载不是太高的时候，可以适当调大该值。

某次导入示例，以及相关的配置

*  mydumper 导出后总数据量 214G，单表 8 列，20 亿行数据
 *  集群拓扑
    
     *  TIKV \* 12
     *  TIDB \* 4
     *  PD \* 3
 *  mydumper -F 设置为 16, loader -t 参数 64

结果：导入时间 11 小时左右，19.4 G/小时

## ##

### 从 MySQL 导出数据 ###

我们使用 `mydumper` 从 MySQL 导出数据，如下:

./bin/mydumper -h 127.0.0.1 -P 3306 -u root -t 16 -F 64 -B test -T t1,t2 --skip-tz-utc -o ./var/test

上面，我们使用 `-B test` 表明是对 `test` 这个 database 操作，然后用 `-T t1,t2` 表明只导出 `t1`，`t2` 两张表。

`-t 16` 表明使用 16 个线程去导出数据。`-F 64` 是将实际的 table 切分成多大的 chunk，这里就是 64MB 一个 chunk。

`--skip-tz-utc` 添加这个参数忽略掉 MySQL 与导数据的机器之间时区设置不一致的情况，禁止自动转换。

> 注意：在阿里云等一些需要 `super privilege` 的云上面，`mydumper` 需要加上 `--no-locks` 参数，否则会提示没有权限操作。

**操作完毕后，在目标目录查看：**

*注：含有对应数据库中的所有表以及metadata文件*

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FyaWFfTWlhenp5_size_16_color_FFFFFF_t_70][]

## ##

### 向 TiDB 导入数据 ###

> 注意：目前 TiDB 支持 UTF8mb4 [字符编码][Link 3]，假设 mydumper 导出数据为 latin1 字符编码，请使用 `iconv -f latin1 -t utf-8 $file -o /data/imdbload/$basename` 命令转换，$file 为已有文件，$basename 为转换后文件。
> 
> 注意：如果 mydumper 使用 -m 参数，会导出不带表结构的数据，这时 loader 无法导入数据。

我们使用 `loader` 将之前导出的数据导入到 TiDB。Loader 的下载和具体的使用方法见 [Loader 使用文档][Loader]

./bin/loader -h 127.0.0.1 -u root -P 4000 -t 32 -d ./var/test

导入成功之后，我们可以用 MySQL 官方客户端进入 TiDB，查看:

mysql -h127.0.0.1 -P4000 -uroot
    
    mysql> show tables;
    +----------------+
    | Tables_in_test |
    +----------------+
    | t1 |
    | t2 |
    +----------------+
    
    mysql> select * from t1;
    +----+------+
    | id | age |
    +----+------+
    | 1 | 1 |
    | 2 | 2 |
    | 3 | 3 |
    +----+------+
    
    mysql> select * from t2;
    +----+------+
    | id | name |
    +----+------+
    | 1 | a |
    | 2 | b |
    | 3 | c |
    +----+------+

# #

## 使用 `syncer` 增量导入数据 ##

上面我们介绍了如何使用 `mydumper`/`loader` 将 MySQL 的数据全量导入到 TiDB，但如果后续 MySQL 的数据有更新，我们仍然希望快速导入，使用全量的方式就不合适了。

TiDB 提供 `syncer` 工具能方便的将 MySQL 的数据增量的导入到 TiDB 里面。

`syncer` 属于 TiDB 企业版工具集，如何获取可以参考 [下载 TiDB 企业版工具集][TiDB 1]。

## ##

### 下载 TiDB 企业版工具集 (Linux) ###

# 下载 tool 压缩包
    wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.tar.gz
    wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.sha256
    
    # 检查文件完整性，返回 ok 则正确
    sha256sum -c tidb-enterprise-tools-latest-linux-amd64.sha256
    # 解开压缩包
    tar -xzf tidb-enterprise-tools-latest-linux-amd64.tar.gz
    cd tidb-enterprise-tools-latest-linux-amd64

假设我们之前已经使用 `mydumper`/`loader` 导入了 `t1` 和 `t2` 两张表的一些数据，现在我们希望这两张表的任何更新，都是实时的同步到 TiDB 上面。

## ##

### 获取同步 position ###

如上文所提，mydumper 导出的数据目录里面有一个 `metadata` 文件，里面就包含了我们所需的 position 信息。

medadata 文件信息内容举例：

Started dump at: 2017-04-28 10:48:10
    SHOW MASTER STATUS:
    Log: mysql-bin.000003
    Pos: 930143241
    GTID:
    
    Finished dump at: 2017-04-28 10:48:11

我们将 position 相关的信息保存到一个 `syncer.meta` 文件里面，用于 `syncer` 的同步:

# cat syncer.meta
    binlog-name = "mysql-bin.000003"
    binlog-pos = 930143241
    binlog-gtid = "2bfabd22-fff7-11e6-97f7-f02fa73bcb01:1-23,61ccbb5d-c82d-11e6-ac2e-487b6bd31bf7:1-4"

*  注意：`syncer.meta` 只需要第一次使用的时候配置，后续 `syncer` 同步新的 binlog 之后会自动将其更新到最新的 position。
 *  注意： 如果使用 binlog position 同步则只需要配置 binlog-name binlog-pos; 使用 gtid 同步则需要设置 gtid，且启动 syncer 时带有 `--enable-gtid`

## ##

### 启动 `syncer` ###

启动 syncer 服务之前请详细阅读 [Syncer 增量导入][Syncer]

`syncer` 的配置文件 `config.toml`:

log-level = "info"
    
    server-id = 101
    
    ## meta 文件地址
    meta = "./syncer.meta"
    
    worker-count = 16
    batch = 10
    
    ## pprof 调试地址, Prometheus 也可以通过该地址拉取 syncer metrics
    ## 将 127.0.0.1 修改为相应主机 IP 地址
    status-addr = "127.0.0.1:10086"
    
    ## 跳过 DDL 或者其他语句，格式为 **前缀完全匹配**，如: `DROP TABLE ABC`,则至少需要填入`DROP TABLE`.
    # skip-sqls = ["ALTER USER", "CREATE USER"]
    
    ## 在使用 route-rules 功能后，
    ## replicate-do-db & replicate-ignore-db 匹配合表之后(target-schema & target-table )数值
    ## 优先级关系: replicate-do-db --> replicate-do-table --> replicate-ignore-db --> replicate-ignore-table
    ## 指定要同步数据库名；支持正则匹配，表达式语句必须以 `~` 开始
    #replicate-do-db = ["~^b.*","s1"]
    
    ## 指定要同步的 db.table 表
    ## db-name 与 tbl-name 不支持 `db-name ="dbname，dbname2"` 格式
    #[[replicate-do-table]]
    #db-name ="dbname"
    #tbl-name = "table-name"
    
    #[[replicate-do-table]]
    #db-name ="dbname1"
    #tbl-name = "table-name1"
    
    ## 指定要同步的 db.table 表；支持正则匹配，表达式语句必须以 `~` 开始
    #[[replicate-do-table]]
    #db-name ="test"
    #tbl-name = "~^a.*"
    
    ## 指定**忽略**同步数据库；支持正则匹配，表达式语句必须以 `~` 开始
    #replicate-ignore-db = ["~^b.*","s1"]
    
    ## 指定**忽略**同步数据库
    ## db-name & tbl-name 不支持 `db-name ="dbname，dbname2"` 语句格式
    #[[replicate-ignore-table]]
    #db-name = "your_db"
    #tbl-name = "your_table"
    
    ## 指定要**忽略**同步数据库名；支持正则匹配，表达式语句必须以 `~` 开始
    #[[replicate-ignore-table]]
    #db-name ="test"
    #tbl-name = "~^a.*"
    
    
    # sharding 同步规则，采用 wildcharacter
    # 1. 星号字符 (*) 可以匹配零个或者多个字符,
    # 例子, doc* 匹配 doc 和 document, 但是和 dodo 不匹配;
    # 星号只能放在 pattern 结尾，并且一个 pattern 中只能有一个
    # 2. 问号字符 (?) 匹配任一一个字符
    
    #[[route-rules]]
    #pattern-schema = "route_*"
    #pattern-table = "abc_*"
    #target-schema = "route"
    #target-table = "abc"
    
    #[[route-rules]]
    #pattern-schema = "route_*"
    #pattern-table = "xyz_*"
    #target-schema = "route"
    #target-table = "xyz"
    
    [from]
    host = "127.0.0.1"
    user = "root"
    password = ""
    port = 3306
    
    [to]
    host = "127.0.0.1"
    user = "root"
    password = ""
    port = 4000

启动 `syncer`:

./bin/syncer -config config.toml
    
    2016/10/27 15:22:01 binlogsyncer.go:226: [info] begin to sync binlog from position (mysql-bin.000003, 1280)
    2016/10/27 15:22:01 binlogsyncer.go:130: [info] register slave for master server 127.0.0.1:3306
    2016/10/27 15:22:01 binlogsyncer.go:552: [info] rotate to (mysql-bin.000003, 1280)
    2016/10/27 15:22:01 syncer.go:549: [info] rotate binlog to (mysql-bin.000003, 1280)

### 在 MySQL 插入新的数据 ###

INSERT INTO t1 VALUES (4, 4), (5, 5);

登录到 TiDB 查看：

mysql -h127.0.0.1 -P4000 -uroot -p
    mysql> select * from t1;
    +----+------+
    | id | age |
    +----+------+
    | 1 | 1 |
    | 2 | 2 |
    | 3 | 3 |
    | 4 | 4 |
    | 5 | 5 |
    +----+------+

`syncer` 每隔 30s 会输出当前的同步统计，如下

2017/06/08 01:18:51 syncer.go:934: [info] [syncer]total events = 15, total tps = 130, recent tps = 4,
    master-binlog = (ON.000001, 11992), master-binlog-gtid=53ea0ed1-9bf8-11e6-8bea-64006a897c73:1-74,
    syncer-binlog = (ON.000001, 2504), syncer-binlog-gtid = 53ea0ed1-9bf8-11e6-8bea-64006a897c73:1-17
    2017/06/08 01:19:21 syncer.go:934: [info] [syncer]total events = 15, total tps = 191, recent tps = 2,
    master-binlog = (ON.000001, 11992), master-binlog-gtid=53ea0ed1-9bf8-11e6-8bea-64006a897c73:1-74,
    syncer-binlog = (ON.000001, 2504), syncer-binlog-gtid = 53ea0ed1-9bf8-11e6-8bea-64006a897c73:1-35

可以看到，使用 `syncer`，我们就能自动的将 MySQL 的更新同步到 TiDB。

上一篇:[数据迁移概述][Link 4]

下一篇:[故障诊断][Link 5]

[Link 1]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E6%95%B0%E6%8D%AE%E8%BF%81%E7%A7%BB
[mydumper_loader]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E4%BD%BF%E7%94%A8%20%3Ccode%3Emydumper%3C/code%3E/%3Ccode%3Eloader%3C/code%3E%20%E5%85%A8%E9%87%8F%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE
[mydumper_loader 1]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%3Ccode%3Emydumper%3C/code%3E/%3Ccode%3Eloader%3C/code%3E%20%E5%85%A8%E9%87%8F%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5
[Link 2]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E6%9F%90%E6%AC%A1%E5%AF%BC%E5%85%A5%E7%A4%BA%E4%BE%8B%EF%BC%8C%E4%BB%A5%E5%8F%8A%E7%9B%B8%E5%85%B3%E7%9A%84%E9%85%8D%E7%BD%AE
[MySQL]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E4%BB%8E%20MySQL%20%E5%AF%BC%E5%87%BA%E6%95%B0%E6%8D%AE
[TiDB]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E5%90%91%20TiDB%20%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE
[syncer]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E4%BD%BF%E7%94%A8%20%3Ccode%3Esyncer%3C/code%3E%20%E5%A2%9E%E9%87%8F%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE
[TiDB _ _Linux]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E4%B8%8B%E8%BD%BD%20TiDB%20%E4%BC%81%E4%B8%9A%E7%89%88%E5%B7%A5%E5%85%B7%E9%9B%86%20%28Linux%29
[position]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E8%8E%B7%E5%8F%96%E5%90%8C%E6%AD%A5%20position
[syncer 1]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E5%90%AF%E5%8A%A8%20%3Ccode%3Esyncer%3C/code%3E
[MySQL 1]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E5%9C%A8%20MySQL%20%E6%8F%92%E5%85%A5%E6%96%B0%E7%9A%84%E6%95%B0%E6%8D%AE
[https_github.com_maxbube_mydumper]: https://github.com/maxbube/mydumper
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FyaWFfTWlhenp5_size_16_color_FFFFFF_t_70]: /images/20221023/596b8c6240604dea929987a9c6d8e76b.png
[Link 3]: https://www.bookstack.cn/read/pingcap-docs-cn/sql-character-set-support.md
[Loader]: https://www.bookstack.cn/read/pingcap-docs-cn/tools-loader.md
[TiDB 1]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration.md#%E4%B8%8B%E8%BD%BD-tidb-%E4%BC%81%E4%B8%9A%E7%89%88%E5%B7%A5%E5%85%B7%E9%9B%86-linux
[Syncer]: https://www.bookstack.cn/read/pingcap-docs-cn/tools-syncer.md
[Link 4]: https://www.bookstack.cn/read/pingcap-docs-cn/op-guide-migration-overview.md
[Link 5]: https://www.bookstack.cn/read/pingcap-docs-cn/trouble-shooting.md