实战｜Linux大文件切割

水深无声 2021-07-26 19:59 367阅读 0赞

一个执着于技术的公众号

日常工作中需要对日志文件进行分析，当日志文件过大时，Linux中使用vim、cat、grep、awk等这些工具对大文件日志进行分析将会成为梦魇，具体表现在：

*  执行速度缓慢，文件内容需要加载到内存中，涉及大量的磁盘读；
 *  耗费资源过多，一个4G空间的日志文件需要至少4G的内存，更大的呢？
 *  内容难以复用，分析过滤文件时会用管道对输出文件进行处理，大文件下难以复用；
 *  文件传输困难，大文件需要传输给其他人进行分析，文件太大，全量传输带宽耗费大。

**1 查阅大文件之痛**

大数据离线处理框架hadoop可以处理这些场景，然而hadoop也需要耗费较长的时间进行计算，而且还需要去编写MapReduce任务，诚然这种方法带来更大的难度和挑战。hadoop是通过将大文件切割成多个小文件，通过多个mapreduce任务做并行处理，Linux提供了一个简单易用的split工具，可以实现将文件切割成多个小文件。

![format_png][]

split提供两种方式对文件进行切割：

*  根据行数切割，通过-l参数指定需要切割的行数
 *  根据大小切割，通过-b参数指定需要切割的大小

##     ##

## **2.1 根据行数切割** ##

如下以一个3.4G大小的日志文件做切割演示，每一个文件按照50000行做切割，指定文件名为split-line，-d参数以数字的方式显示

右边滑动查看完整命令

#源文件大小
    [root@~]# ls -lh happylauliu.cn.gz
    -rw-r--r-- 1 root root 3.4G 1月  17 09:42 happylauliu.cn.gz
    
    
    #按行切割
    [root@~]# split -l 50000 -d --verbose happylauliu.cn.gz split-line
    正在创建文件"split-line00"
    正在创建文件"split-line01"
    正在创建文件"split-line02"
    正在创建文件"split-line03"
    正在创建文件"split-line04"
    正在创建文件"split-line05"
    正在创建文件"split-line06"
    正在创建文件"split-line07"
    正在创建文件"split-line08"
    正在创建文件"split-line09"
    正在创建文件"split-line10"
    ...
    正在创建文件"split-line9168"
    正在创建文件"split-line9169"
    正在创建文件"split-line9170"
    正在创建文件"split-line9171"
    
    
    #查看切割文件行数确认
    [root@~]# wc -l split-line00
    50000 split-line00
    [root@~]# wc -l split-line9170
    50000 split-line9170
    [root@~]# wc -l split-line9171
    1020 split-line9171
    
    
    #查看文件大小
    [root@~]# ls -lh split-line0[0-9]
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line00
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line01
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line02
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line03
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line04
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line05
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line06
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line07
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line08
    -rw-r--r-- 1 root root 14M 1月  17 16:54 split-line09

指定行数后会自动做切割，即达到5000行之后自动切割，通过-d参数文件名会自动以数字的方式命名，切割后，每个文件大小为14M，此时再对文件进行分析将会方便很多，同时文件数量也会很多，可以增加行数的方式进行切割，方便分析。

##     ##

## **2.2 根据大小切割** ##

除了按照行数切割之外，split还支持通过文件大小进行切割，通过指定-b参数指定文件大小进行切割，文件大小单位支持K, M, G, T, P, E, Z，如下以切割为500M演示文件切割过程

右边滑动查看完整命令

[root@~]# split -b 500M -d --verbose happylauliu.cn.gz split-size
    正在创建文件"split-size00"
    正在创建文件"split-size01"
    正在创建文件"split-size02"
    正在创建文件"split-size03"
    正在创建文件"split-size04"
    正在创建文件"split-size05"
    正在创建文件"split-size06"
    
    
    [root@~]# ls -lh split-size0*
    -rw-r--r-- 1 root root 500M 1月  17 17:03 split-size00
    -rw-r--r-- 1 root root 500M 1月  17 17:03 split-size01
    -rw-r--r-- 1 root root 500M 1月  17 17:04 split-size02
    -rw-r--r-- 1 root root 500M 1月  17 17:04 split-size03
    -rw-r--r-- 1 root root 500M 1月  17 17:04 split-size04
    -rw-r--r-- 1 root root 500M 1月  17 17:04 split-size05
    -rw-r--r-- 1 root root 444M 1月  17 17:04 split-size06

## **2.3 多文件合并** ##

split将大文件切割为多个小文件，如果需要将多个小文件合并为一个文件怎么处理呢？

可以使用文件重定向方式实现，如下演示两个小文件合并为一个文件

右边滑动查看完整命令

[root@~]# cat split-size01 split-size02 >two-file-merge
    
    
    [root@~]# ls -lh two-file-merge
    -rw-r--r-- 1 root root 1000M 1月  17 17:20 two-file-merge

合并方式通过读取文件的方式+输出重定向，对于大文件一样会存在性能的问题，建议根据需要使用。

> 来源：
> 
> https://cloud.tencent.com/developer/article/1576576

![format_png 1][]

** **** **往期精彩

◆  [干货 | 手把手教你如何搭建一个私有云盘 ][Link 1]

◆  [干货 | Linux平台搭建网关服务器][_ Linux]

◆  [干货 | Linux主流发行版配置IP总结][_ Linux_IP]

◆  [硬核科普服务器硬盘组成与基本原理][Link 2]

◆  [一文带你速懂虚拟化KVM和XEN][KVM_XEN]

◆  [什么是集群？看完这篇你就知道啦！][Link 3]

![format_png 2][]

如有收获，点个在看，诚挚感谢![format_png 3][]

[format_png]: /images/20210726/d835173a35cd4ae58f68b420078e7e49.png
[format_png 1]: /images/20210726/e65dc2e7d865458d94b7a739668f752d.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d033dc1359250d4b3ae16e5983bb2b1e35699c85b714534f61461a0b734e9f65899c5a3d&idx=1&mid=2247484291&scene=21&sn=5aecf12394f1edc4e29fa2081cae9eae#wechat_redirect
[_ Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d014dc135902f4698838249e6bf60a5c378b4d6ef5151547c403d85c5d2e5f91e0e7d9ce&idx=1&mid=2247484324&scene=21&sn=6cd6ea36d1372fbfd937b3fdc219948d#wechat_redirect
[_ Linux_IP]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d1ffdc1358e971feb6515aee16ba9598a7a44eaf638856ed060a2314f52dc1596a76ff18&idx=1&mid=2247483983&scene=21&sn=0e400021510e4a5055b5a9b405e53d8b#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d0a4dc1359b26f68145f11eb9c718195d55fb2f2b598a9b26c7fcf9e238743064bae32ff&idx=1&mid=2247484180&scene=21&sn=83aeff4baa65ba2e16196d3ae84d5f4d#wechat_redirect
[KVM_XEN]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d07bdc13596dbbef1dd33d89684a4bc98fa0fee3338524c0e17226e8cf726818bd26ff76&idx=1&mid=2247484363&scene=21&sn=daad565c5ccea381e0ec580412ce049b#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d0d1dc1359c7daadb385f18d8c9144d41075a554408fc5ca386197422ab2afcb8528b607&idx=1&mid=2247484257&scene=21&sn=6c5509c9b51adcee5a4e87e4b36181be#wechat_redirect
[format_png 2]: /images/20210726/8949ff5888824acd8c3c0b41c2448ffe.png
[format_png 3]: /images/20210726/10d7f6b8906343388bc5fc32a4029091.png