linux shell 合并多个文件并删除重复行

一时失言乱红尘 2021-09-07 06:10 515阅读 0赞

**目录**

源文件

合并文件

删除重复行并显示

文件并集&交集&补集

--------------------

cat a.txt b.txt | sort | uniq > h.txt

## 源文件 ##

1.首先输入“cd tmp”到文件目录（本例中为tmp）。

[![LinuxCombinFile1.png][]][LinuxCombinFile1.png 1]

2.输入“cat a.txt”输出a.txt文件内容。

[![LinuxCombinFile2.png][]][LinuxCombinFile2.png 1]

3.输入“cat b.txt”输出b.txt文件内容。

[![LinuxCombinFile3.png][]][LinuxCombinFile3.png 1]

## 合并文件 ##

4.输入“cat a.txt b.txt > c.txt”合并b.txt文件内容到a.txt的下方并输出到c.txt。并输入“cat c.txt”输出c.txt文件内容。
       注意：蓝色框内为原a.txt文件内容，黄色框内为原b.txt文件内容。

[![LinuxCombinFile4.png][]][LinuxCombinFile4.png 1]

5.输入“paste a.txt b.txt > d.txt”合并b.txt文件内容到a.txt的右方并输出到d.txt。并输入“cat d.txt”输出d.txt文件内容。
       注意：蓝色框内为原a.txt文件内容，黄色框内为原b.txt文件内容。

[![LinuxCombinFile5.png][]][LinuxCombinFile5.png 1]

6.输入“cat a.txt b.txt | sort | uniq | > e.txt”合并a.txt和b.txt文件内容并删除重复行，将结果输出到e.txt。并输入“cat e.txt”输出e.txt文件内容。
       注意e.txt与上图c.txt文件的区别。

[![LinuxCombinFile6.png][]][LinuxCombinFile6.png 1]

## 删除重复行并显示 ##

7.输入“cp b.txt f.txt”命令复制b.txt，新文件名为f.txt，输入“cat f.txt”命令显示文件内容。

[![LinuxCombinFile7.png][]][LinuxCombinFile7.png 1]

8.输入“sort f.txt | uniq”并按回车键确定显示删除重复行（重复多行只显示一行）的结果。

[![LinuxCombinFile8.png][]][LinuxCombinFile8.png 1]

9.sort命令仅对显示结果进行删除重复行，并不修改文件，可通过输入“cat f.txt”命令查看文件内容，结果与原文件相同。

[![LinuxCombinFile16.png][]][LinuxCombinFile16.png 1]

10.输入“cp b.txt g.txt”命令复制b.txt，新文件名为g.txt，输入“cat g.txt”命令显示文件内容。

[![LinuxCombinFile9.png][]][LinuxCombinFile9.png 1]

11.输入“sort g.txt | uniq -u ”并按回车键确定显示删除重复行（不显示重复行）的结果。

[![LinuxCombinFile10.png][]][LinuxCombinFile10.png 1]

12.sort命令仅对显示结果进行删除重复行，并不修改文件，可通过输入“cat g.txt”命令查看文件内容，结果与原文件相同。

[![LinuxCombinFile17.png][]][LinuxCombinFile17.png 1]

## 文件并集&交集&补集 ##

注意：文件补集和交集等操作需保证文件内容无重复行。
    13.输入“cat a.txt b.txt | sort | uniq > h.txt”命令将a.txt和b.txt文件合并输出为h.txt（如果两个源文件有重复行则只保留一行），并输入“cat h.txt”查看h.txt文件内容。

[![LinuxCombinFile11.png][]][LinuxCombinFile11.png 1]

14.输入“cat a.txt b.txt | sort | uniq -c > h1.txt”命令将a.txt和b.txt文件合并输出为h1.txt（-c 参数显示每行出现的次数），并输入“cat h1.txt”查看h.txt文件内容。

[![LinuxCombinFile19.png][]][LinuxCombinFile19.png 1]

15.输入“cat a.txt b.txt | sort | uniq -d > i.txt”命令（-d参数表示仅显示重复行）将a.txt和b.txt的交集输出到i.txt，并输入“cat i.txt”查看文件内容。
         注意：此处因b.txt有重复行，故输出文件内容不正确。

[![LinuxCombinFile12.png][]][LinuxCombinFile12.png 1]

16.输入“sort b.txt | uniq > b1.txt”命令将b.txt删除重复行（重复行只保留一行）的结果输出为b1.txt文件，并输入“cat b1.txt”查看文件内容。

[![LinuxCombinFile13.png][]][LinuxCombinFile13.png 1]

17.输入“cat a.txt b1.txt | sort | uniq -d > j.txt”命令（-d参数表示仅显示重复行）将a.txt和b1.txt的交集输出到j.txt，并输入“cat j.txt”查看文件内容。
         注意：此处因b1.txt无重复行，故输出文件内容正确。

[![LinuxCombinFile14.png][]][LinuxCombinFile14.png 1]

18.输入“cat a.txt b.txt | sort | uniq -u > k.txt”命令（-u参数表示仅显示文件中不重复行）将删除a.txt和b.txt文件的交集（111和777两行），并将其他内容输出到k.txt， 输入“cat k.txt”查看文件内容。
        注意：因b.txt文件内容有重复行（aaa和bbb两行），故输出文件内容不正确

[![LinuxCombinFile15.png][]][LinuxCombinFile15.png 1]

19.输入“cat a.txt b1.txt | sort | uniq -u > k1.txt”命令（-u参数表示仅显示文件中不重复行）将删除a.txt和b1.txt文件的交集（111和777两行），并将其他内容输出到k1.txt， 输入“cat k.txt”查看文件内容。
        注意：因b1.txt文件内容无重复行，故输出文件内容正确

[![LinuxCombinFile18.png][]][LinuxCombinFile18.png 1]

[LinuxCombinFile1.png]: /images/20210728/6de1deb1a2a641f19af3ddf0694c4910.png
[LinuxCombinFile1.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile1.png
[LinuxCombinFile2.png]: /images/20210728/b408abba0b2c42e0a414350ea6753369.png
[LinuxCombinFile2.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile2.png
[LinuxCombinFile3.png]: /images/20210728/975a6db00f004111a23c7bb829944d25.png
[LinuxCombinFile3.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile3.png
[LinuxCombinFile4.png]: /images/20210728/de2c70f5b88a47f1bc786009b45fa6ff.png
[LinuxCombinFile4.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile4.png
[LinuxCombinFile5.png]: /images/20210728/79e8aa77f39a4b7d9b22cd6029ffe8eb.png
[LinuxCombinFile5.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile5.png
[LinuxCombinFile6.png]: /images/20210728/d3d08efe4c3a494d8dac1445c1f75be3.png
[LinuxCombinFile6.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile6.png
[LinuxCombinFile7.png]: /images/20210728/d1bdf15437df4065b06075b15bb85b86.png
[LinuxCombinFile7.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile7.png
[LinuxCombinFile8.png]: /images/20210728/692cae2a21a24fd49e5ea30f013f16ba.png
[LinuxCombinFile8.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile8.png
[LinuxCombinFile16.png]: /images/20210728/c17d44c84e8c4dcaa557e24db8d8627d.png
[LinuxCombinFile16.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile16.png
[LinuxCombinFile9.png]: /images/20210728/1a51e191e8164ba7bff03fc3fbfadf42.png
[LinuxCombinFile9.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile9.png
[LinuxCombinFile10.png]: /images/20210728/69c5559dd9444c0bb5c23158b1bda840.png
[LinuxCombinFile10.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile10.png
[LinuxCombinFile17.png]: /images/20210728/dc24a7471aad4d98908abc4cae076333.png
[LinuxCombinFile17.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile17.png
[LinuxCombinFile11.png]: /images/20210728/9d5cb6c319264d58a4d37fef96445a59.png
[LinuxCombinFile11.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile11.png
[LinuxCombinFile19.png]: /images/20210728/0d32b6f5804948bc84e89d18b2aaebe5.png
[LinuxCombinFile19.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile19.png
[LinuxCombinFile12.png]: /images/20210728/1dd4f7521e71440da97364a9895d3c47.png
[LinuxCombinFile12.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile12.png
[LinuxCombinFile13.png]: /images/20210728/0517ac3c316a4e059c54e8e946b9b795.png
[LinuxCombinFile13.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile13.png
[LinuxCombinFile14.png]: /images/20210728/22e3a669134a479a895949e91423bc46.png
[LinuxCombinFile14.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile14.png
[LinuxCombinFile15.png]: /images/20210728/7fcf530f3c0a49ae9971799fb4a94dc5.png
[LinuxCombinFile15.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile15.png
[LinuxCombinFile18.png]: /images/20210728/1fa5ef0b0e1e4e30bedf2325c024761f.png
[LinuxCombinFile18.png 1]: https://www.ytyzx.org/index.php/File:LinuxCombinFile18.png