Shell命令数据迁移实践

客官°小女子只卖身不卖艺 2021-09-12 05:28 763阅读 0赞

中奖纪录侧

数据量：千万级

实施方案：数据库层面迁移，新数据一一匹配

实施脚本：

1、sql整理出需要导出的数据：

select a,b,c,d,e,f,g
     from table_1 
                    into outfile '/data/aaa/haha.csv'
    fields terminated by ',' optionally enclosed by '\''
    lines terminated by '\r\n';

2、使用shell分割记录结果，分批导入

split -a 3 -l 20000 haha.csv target/table2_
      
    for i in `ls -1 target `
    do
        mysql -s -N -p'xxxxxxx' DPEmidas -e "load data infile '/data/aaa/target/$i'
    IGNORE into table table2
    fields terminated by ','  optionally enclosed by '\''
    lines terminated by '\r\n'"
        mv /data/aaa/target/$i /data/aaa/complete/
        sleep 1
    done

3、

获取 所有项目的git地址：
    git/config文件如下：
    [core]
    	repositoryformatversion = 0
    	filemode = false
    	bare = false
    	logallrefupdates = true
    	symlinks = false
    	ignorecase = true
    [remote "origin"]
    	url = ssh://git@git.dianpingoa.com/emidas/emidas-decorate.git
    	fetch = +refs/heads/*:refs/remotes/origin/*
    [branch "master"]
    	remote = origin
    	merge = refs/heads/master
    [branch "feature/search"]
    	remote = origin
    	merge = refs/heads/feature/search
    [branch "beta"]
    	remote = origin
    	merge = refs/heads/beta
    
    
    需要获取每一个url 那一行后面的地址，正则需要匹配  空格符  url = xxxx
    具体正则 (^\s*)url = (.*)，sed命令中需要转义  \ $ * + ( )
    
    sed -n 's/\(^\s*\)url = \(.*\)/\2/p' */.git/config > test.txt

[https://blog.csdn.net/z69183787/article/details/53693739][https_blog.csdn.net_z69183787_article_details_53693739]

[https_blog.csdn.net_z69183787_article_details_53693739]: https://blog.csdn.net/z69183787/article/details/53693739

发表评论取消回复

表情：

评论列表（有 0 条评论，763人围观）

还没有评论，来说两句吧...

相关阅读

相关云原生丨DBSwitch数据迁移实践

文章目录一、前言一、部署 1. 环境准备 2. 安装包部署二、使用 1.登录 2. 使用步骤-

太过爱你忘了你带给我的痛/ 2023年10月03日 23:03/ 0 赞/ 47 阅读

相关 shell 进入hadoop_Hadoop集群跨数据中心迁移实践

![73a4e52ab51289e6167bdede1f75315d.png][] 文|张翼李海强徐杰王聪张勋祥 01 综述古语有云：“三军未动，粮草先行。”

谁借莪１个温暖的怀抱￠/ 2023年01月02日 11:22/ 0 赞/ 273 阅读

相关 Shell命令

参考：http://www.jb51.net/article/39507.htm 1 tr命令参考：http://blog.sina.com.cn/s

桃扇骨/ 2022年08月13日 14:40/ 0 赞/ 234 阅读

相关 shell快速迁移海量文件

author：skate time：2012/03/02 同事的写的一个脚本，觉得非常好，实用性很强，精致短小，特记录与此，方便以后查用. 业务需求：需要把

骑猪看日落/ 2022年06月14日 06:25/ 1 赞/ 237 阅读

相关 Shell常见命令实践

ls -la : 给出当前目录下所有文件的一个长列表，包括以句点开头的“隐藏”文件 [bae@cp01-qa-yun-004.cp01.baidu.com huang

刺骨的言语ヽ痛彻心扉/ 2022年06月09日 22:49/ 0 赞/ 202 阅读

相关 shell命令

清空命令行： > reset 进入下一个空白页 > clear 命令自动补全 > tab键进入根目录 > cd / 切换目录 > cd 路径返回上级/可

灰太狼/ 2022年06月09日 00:11/ 0 赞/ 251 阅读

相关 Shell基础实践

Shell 脚本（shell script），是一种为 shell 编写的脚本程序，对于开发或运维人员来说，是一项必备的技能，尤其是运维人员，需要编写大量的sh

超、凢脫俗/ 2022年05月28日 01:46/ 0 赞/ 194 阅读

相关 shell 命令

本文仅供本人学习使用 1、检查sh语法错误 bash -n xxx //xxx 就是你的sh文件 2、查看运行过程 bash -x xxx

爱被打了一巴掌/ 2022年01月30日 11:21/ 0 赞/ 351 阅读

相关 JSON数据从MongoDB迁移到MaxCompute最佳实践

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] 摘要：本文为您介绍如何利用DataWorks数据集成直接从MongoDB提取JSON字

阳光穿透心脏的1/2处/ 2022年01月15日 05:21/ 0 赞/ 318 阅读

相关 Shell命令数据迁移实践

中奖纪录侧数据量：千万级实施方案：数据库层面迁移，新数据一一匹配实施脚本： 1、sql整理出需要导出的数据： select a,b,c,d,e,f

客官°小女子只卖身不卖艺/ 2021年09月12日 05:28/ 0 赞/ 764 阅读