Linux – 文本文件的合并与分割

深碍√TFBOYSˉ_ 2022-05-31 00:49 309阅读 0赞

有几种工具用来处理文本文件分类，合并和分割操作。

**sort**

sort命令将许多不同的域按不同的列顺序分类。当查阅注册文件或为另一用户对下载文件重排文本列时，sort工具很方便。sort选项很长，甚至有时在各种不同开关的实际功能和结果进行比较时也会遇到麻烦，原因可能是在结合使用sort的不同选项时有些概念模糊不清。

sort –cmu –o output\_file \[other options\]+pos1 +pos2 input\_files

\-c ：测试文件是否已经分类

\-m ：合并两个分类文件

\-u ：删除所有复制行

\-o ：存储sort结果的输出文件名

其他选项

\-b ：使用域进行分类时，忽略第一个空格

\-n ：指定分类时域上的数字分类

\-t ：域分隔符，用非空格或tab键分隔域

\-r ：对分类次序或比较求逆

\+n ：n为域号，使用此域号开始分类

n ：n为域号，在分类比较时忽略此域，一般与+n一起使用

post1 ：传递到m,n。m为域号，n为开始分类字符数，例如4,6即以第5域分类，从第7个字符开始

除了-o可以保存分类结果，也可以使用重定向方法保存：

sort video.txt > results.out

sort认为一个空格或一系列空格为分隔符。要加入其他方式分隔，使用-t选项。

sort 参照第一个域作为域0：

![20180201204718041][]

按指定域分类：sort –t: +1 video.txt 按分类键1分类

**uniq**

uniq用来从一个文本文件中去除或禁止重复行。一般uniq假定文件已分类，并且结果正确。

uniq有点像sort命令中唯一性选择。但是，sort唯一性去除所有重复行，uniq命令并不这样。

比如：

May Day

May Day

May Day

Going Down

May Day

在这一个文件中，uniq将前三个May Day看作重复副本，但是因为第4行有不同的文本，故并不认为第五行持续的May Day为其副本。所以uniq将保留这一行。

命令一般格式为：

uniq –u d c –f input-file output-file

\-u ：只显示不重复行

\-d ：只显示有重复数据行，每种重复行只显示其中一行

\-c ：打印每一重复行出现次数

\-f ：n为数字，前n个域被忽略

**join**

join用来将来自两个分类文本文件的行连在一起，有点类似SQL中的join。有两个文件file1和file2，已经分类。每个文件都有一些元素与另一个文件相关。由于这种关系，join将两个文件连在一起，有点像修改一个主文件，使之包含两个文件里的共同元素。

join \[options\] input-file1 input-file2

an ：n为一数字，用于连接时从文件n中显示不匹配行。例如，-a1显示第一个文件的不匹配行，-a2为从第二个文件中显示不匹配行

o n.m ：n为文件号，m为域号。1.3表示只显示文件1第三域， 每个n,m必须用.号分隔，比如1.3， 2.1。

j n m ：n为文件号，m为域号。使用其他域做连接域。

t ：域分隔符，用来设置非空格或tab键的域分隔符，例如，指定冒号做域分隔符 –t:

**cut**

cut用来从标准输入或文本文件中剪切列或域。剪切文本可以将之黏贴到一个文本文件。

cut \[options\] file1 file2

\-c ：list 指定剪切字符数

\-f ：field 指定剪切域数

\-d ：指定域空格和tab键不同的域分隔符

\-c ：用来指定剪切范围：

\-c1,5-7 ：剪切第一个字符，然后是第5到第7个字符

\-c1-50 ： 剪切前50个字符

\-f ：格式与-c类似

\-f 1,5 ：剪切第1域，第5域

\-f1, 10-12 ：剪切第1域，第10域到第12域

**paste**

cut用来从文本文件或标准输出中抽取数据列或域，然后再用paste可以将这些数据黏贴起来形成相关文件。黏贴两个来源不同的数据时，需要将其分类，并确保两个文件行数相同。

paste按行将不同文件行信息放在一行。缺省用空格或tab键分隔新行中不同文本。

paste –d –s –file1 file2

\-d ：指定不同于空格或tab的域分隔符。例如-d@，用@分隔域

\-s ：将每个文件合并成行而不是按行黏贴

\- 使用标准输入，例如 ls –l |paste，只在一列上显示输出。

**split**

split用来将大文件分割成小文件。

split –output-file-size input-filenameoutput-filename

按每个文件2行分割： split -2 split1

[20180201204718041]: /images/20220531/760cae0cd78f4c50b381571151254b35.png

发表评论取消回复

表情：

评论列表（有 0 条评论，309人围观）

还没有评论，来说两句吧...

相关阅读

相关 Linux tar将分割的小文件进行合并

cat 漾濞521地震灾后影像成果.tar. > all.tar ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_sh

分手后的思念是犯贱/ 2023年10月04日 15:49/ 0 赞/ 58 阅读

相关 shell命令按行分割文本文件

windows环境下可以使用 Git Bash![20210525102246529.png][]执行 split 命令 sed 常用的分割文本的方法都是通过sed -

港控/mmm°/ 2022年10月15日 12:49/ 0 赞/ 427 阅读

相关 Python实现文本文件的合并

总结一个文本文件合并的python脚本。这个文本文件格式不限于常见的.txt格式的文件，也包括其他格式的文本文件。 Python脚本如下： -- coding:u

ゝ一世哀愁。/ 2022年09月21日 05:57/ 0 赞/ 241 阅读

相关文件分割合并

define _CRT_SECURE_NO_WARNINGS include<stdio.h> include<stdlib.h>

矫情吗；*/ 2022年07月19日 08:58/ 0 赞/ 226 阅读

相关【Linux相关】linux大文件分割与合并

前言近日由于网上下载了很多图片，然后花了很长一段时间进行压缩，压缩完成后一看，128G多，由于机器在远程，本来想通过百度网盘进行备份，后来提示最大单个文件只能4G大小，

- 日理万妓/ 2022年06月12日 13:21/ 0 赞/ 222 阅读

相关 java分割超大文本文件

因需要处理数据库字段中的json字段，所以把数据库数据导出为sql文件但是因为文件太大，想通过多线程来加快处理速度，需要把文件拆分开来 package util

╰+攻爆jí腚メ/ 2022年06月06日 13:54/ 0 赞/ 237 阅读

相关文件分割与合并

public class SplitFile { public static void main(String[] args) throws IOExc

刺骨的言语ヽ痛彻心扉/ 2022年06月01日 12:50/ 0 赞/ 214 阅读

相关 Linux – 文本文件的合并与分割

有几种工具用来处理文本文件分类，合并和分割操作。 sort sort命令将许多不同的域按不同的列顺序分类。当查阅注册文件或为另一用户对下载文件重排文本列时，sort工

深碍√TFBOYSˉ_/ 2022年05月31日 00:49/ 0 赞/ 310 阅读

相关笔记：Linux 文件的排序、合并和分割

1. fsort命令 sort命令的基本格式： sort [选项] [输入文件] 例如：查看/etc/passwd 文件的内容 c

￡神魔★判官ぃ/ 2022年05月05日 14:56/ 0 赞/ 277 阅读

相关 Linux文件分割与合并

\[b\]\[color=green\]\[size=large\]Linux里面提供了，许多简洁的shell命令，而这些命令不仅简洁，而且作用十分强大，散仙今天要与大家分享的

矫情吗；*/ 2022年04月13日 12:17/ 0 赞/ 312 阅读