mysql迁移的过程_记一次MySQL迁移过程

叁歲伎倆 2022-10-27 13:50 42阅读 0赞

\[背景说明\]

环境说明数据库版本数据量备注

DatabaseA5.71TB需迁移数据200GB

DatabaseB5.67TB需迁移数据600GB

DatabaseC5.7--数据迁入800GB

迁移需求

新建DatabaseC,将DatabaseA和DatabaseB的数据迁移到DatabaseC,其中DatabaseA/B仅部分表需保留数据,其余表保留结构即可

业务停机时间

业务允许停机时间最长为2小时

\[迁移方案\]a.第一次迁移测试

本次迁移为了搭建测试环境供业务测试使用,对数据准确性无要求,受硬件条件以及时间需求限制,无法采用物理备份/复制等手段,采用mysqldump进行拆分导出导入

导出数据

mysqldump -uxxx  -p'xxxx' -S xxxx--set-gtid-purged=OFF   --single-transaction db \`cat tab\_list.txt\` >table.sql

恢复数据

Set names utf8mb4;

Sourcetable.sql

尽管通过人为拆分为并行导出导入,但导入时会创建大量索引,索引创建过程无法并行,总体耗时约40h,无法满足业务需求.

b.第二次迁移测试

本次迁移测试采用传输表空间,过程大致如下主要步骤操作耗时

备份表结构备份DatabaseA/B的数据结构1min

传输ibd文件传输备份文件到ServerC150min

恢复表结构在serverc恢复DatabaseA/B的数据结构2min

替换表空间分离idb文件并导入传输过来的bd文件200min

备份结构

mysqldump -uxx  -p'xx' -S xx  --set-gtid-purged=OFF -d dbname  > table\_Structure.sql

mysqldump -uxx  -p'xx' -S xx   -n -t-d -R --triggers=false --set-gtid-purged=OFF  dbname >procedure.sql

恢复表结构

Set names utf8mb4;

Source table\_Structure.sql

Sourceprocedure.sql

替换表空间

分离ibd文件

Alter table xxx discard tablespace;传输idb文件

scp \`cat table\_list.txt\` 10.25.225.243:/mysqldata/mysql/data/material导入idb文件

Alter table xxx importtablespace;

测试耗时约6h,让仍然无法满足业务要求,分析瓶颈在以下两方面:

传输文件通过千兆网络,耗费大量时间

import tablespace过程中,mysql需要更新ibd文件每个page的lsn,产生大量IO操作,耗时较多;

c.第三次测试

步骤操作耗时

物理备份使用innodbbackupex备份DatabaseA/B在线

传输备份到传输备份文件到ServerC在线

恢复DatabaseB使用备份文件在ServerC恢复databaseB (后续将恢复出来的数据库称为DatabaseC)在线

升级databaseC将databaseC升级到5.7在线

清理数据清理不需要数据的表,仅保留数据结构在线

创建databaseA在DatabaseC创建databaseA相关对象结构信息在线

恢复DatabaseA使用传输表空间的方式恢复databaseA到databaseC在线

配置多源复制配置DatabaseC从databaseA/B同步数据在线

正式割接断开复制,修改databaseC参数5min

物理备份

对A/B数据库进行物理备份

innobackupex --user=xx -pxx --socket=xx  --no-timestamp  ./full

innobackupex --user=xx -pxx --socket=xx  --no-timestamp --incremental ./inc/inc1/--incremental-basedir=./full

innobackupex --user=xx -pxx --socket=xx  --no-timestamp --incremental ./inc/inc2/--incremental-basedir=./inc/inc1

恢复备份

使用备份恢复databaseB

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-onlyfull/  &

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-only--incremental-dir=rec0/ full/ &

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-only--incremental-dir=rec1/ full/

升级databasec

mysql\_upgrade --upgrade-system-tables  -uroot -p'xxx'

恢复databaseA到database C

恢复过程同第二次迁移测试,此处使用物理备份的ibd文件进行导入.

清理多余的数据

Truncatetable xxx;

配置复制

通过物理备份获取gtid相关信息,并配置两个复制通道,分别为databaseA和databaseB复制数据

reset master;

SET@@GLOBAL.GTID\_PURGED='xxxxxx,xxxxxxx';

change master to

master\_host='xxx',

MASTER\_PORT=xx,

master\_user='repl',

master\_password='xx',

master\_auto\_position=1

FOR CHANNEL 'chnl1';

通过以上方式,业务停机时间仅为应用修改切换连接串时间,仅需几分钟即可,满足业务需求。

mysql迁移的过程_记一次MySQL迁移过程

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 MySQL迁移过程中数据一致性挑战

相关 MySQL升级过程中数据迁移的挑战

相关 MySQL迁移过程中的数据一致性问题

相关记一次批量更新mysql数据过程

相关记一次简单的Oracle离线数据迁移至TiDB过程

相关 MYSQL 迁移oracle过程遇到的问题

相关 mysql迁移的过程_记一次MySQL迁移过程

相关一次mysql数据库迁移的过程记录

相关记一次Hexo迁移

相关一次业务跨库迁移过程