linux如何统计文本文件不重复的行数,linux(centos8):用uniq去除文本中重复的行(去重)...

一时失言乱红尘 2023-01-19 10:49 15阅读 0赞

一,uniq命令的用途

1, 作用:

从输入文件或标准输入中找到相邻的匹配行,

并写入到输出文件或标准输出

2, 使用时通常会搭配sort使用

说明：作者:刘宏缔 邮箱: 371125307@qq.com

二,查看uniq命令所属的rpm包

\[root@blog nginxlogs\]$ whereis uniq

uniq: /usr/bin/uniq /usr/share/man/man1/uniq.1.gz /usr/share/man/man1p/uniq.1p.gz

\[root@blog nginxlogs\]$ rpm-qf /usr/bin/uniqcoreutils-8.30-6.el8.x86\_64

默认已安装到了centos8系统，如果找不到命令或误删除，

可以用dnf来安装

\[root@blog nginxlogs\]$ dnf install coreutils

三，查看uniq的版本和帮助

1,查看版本

\[root@blog nginxlogs\]$ uniq --versionuniq (GNU coreutils) 8.30Copyright (C)2018Free Software Foundation, Inc.

License GPLv3+: GNU GPL version 3 or later .

This is free software: you are freeto change and redistribute it.

There is NO WARRANTY, to the extent permitted by law.

Written by Richard M. Stallman and David MacKenzie.

2,查看帮助

\[root@blog nginxlogs\]$ uniq --help

3,查看手册

\[root@blog nginxlogs\]$ man uniq

四，uniq命令的使用例子

1,增加统计重复出现的次数

\#-c: 增加显示当前行重复出现的次数

\[root@blog nginxlogs\]$ cut -d ' ' -f 1 file\_meet.access\_log | sort | uniq -c1 106.15.200.123

875 223.72.53.168

9 47.101.200.88

9 47.101.58.46

...

当然可以加一个倒排

\[root@blog nginxlogs\]$ cut -d ' ' -f 1 file\_meet.access\_log | sort | uniq -c | sort -k1 -nr875 223.72.53.168

9 47.101.58.46

9 47.101.200.88

1 106.15.200.123

...

2,只显示有重复的行

\#-d: 只显示重复出现的行

\[root@blog nginxlogs\]$ cut -d ' ' -f 1 file\_meet.access\_log | sort | uniq -d223.72.53.168

47.101.200.88

47.101.58.46

...

3，仅显示没有重复仅出现一次的行

\#-u:uniqe

\[root@blog nginxlogs\]$ cut -d ' ' -f 1 file\_meet.access\_log | sort | uniq -u106.15.200.123

4,其他参数:

\-s: 指定在每行开始处需要忽略的字符数

\-i:  忽略每行字母的大小写

五，uniq命令使用需要注意的地方：

如果重复的行不相邻，uniq 命令不会起作用

所以通常我们会搭配sort命令使用，先排序，使重复的行相邻出现，

这样uniq命令就可以生效了

六，查看centos的版本

\[root@blog nginxlogs\]$ cat /etc/redhat-release

CentOS Linux release8.0.1905 (Core)

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关统计文本中重复行数的方法

在Python中，我们可以使用一些简单的方法来统计文本中重复行的数量。下面我将介绍两种常见的方法，并提供相应的源代码示例。方法一：使用字典进行统计这种方法使用字典数据结

╰+哭是因爲堅強的太久メ/ 2024年03月02日 09:57/ 0 赞/ 72 阅读

相关 sql去除重复列（行）

有重复数据主要有一下几种情况： 1.存在两条完全相同的纪录这是最简单的一种情况，用关键字distinct就可以去掉 example： select distinct \

矫情吗；*/ 2024年02月17日 22:37/ 0 赞/ 115 阅读

相关利用Linux命令行进行文本按行去重并按重复次数排序yes

http://www.tuicool.com/articles/fEzERj [Linux][]命令行提供了非常强大的文本处理功能，组合利用[linux][Linux]命令能

骑猪看日落/ 2023年10月17日 15:33/ 0 赞/ 17 阅读

相关 linux如何统计文本文件不重复的行数,linux(centos8):用uniq去除文本中重复的行(去重)...

一,uniq命令的用途 1, 作用: 从输入文件或标准输入中找到相邻的匹配行, 并写入到输出文件或标准输出 2, 使用时通常会搭配sort使用说明：作者:刘宏缔邮

一时失言乱红尘/ 2023年01月19日 10:49/ 0 赞/ 16 阅读

相关 notepad++去除重复行

一使用正则表达式 1. 对文本进行排序，让重复行排在一起 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_sh

我会带着你远行/ 2022年12月13日 01:57/ 0 赞/ 827 阅读

相关 java 大文本去重_JAVA 如何实现大文本去除重复行

去重复行，用SQL写很简单，就一句SELECT DISTINCT … FROM。但是文件上没法直接用SQL了，想用SQL还得找个数据库先建表，也很麻烦。如果是小文件，那用jav

布满荆棘的人生/ 2022年11月06日 04:48/ 0 赞/ 259 阅读

相关使用awk去除重复行

先上图看一个例子： ![这里写图片描述][70] 说明：`file1.txt`文件中存在一些内容重复的行，通过执行`awk '!a[$0]++' file1.txt`看到

男娘i/ 2022年05月26日 04:25/ 0 赞/ 220 阅读

相关如何去除Excel中的重复的行数据

转自：[https://blog.csdn.net/fox009521/article/details/78116816][https_blog.csdn.net_fox009

淩亂°似流年/ 2022年01月30日 09:17/ 0 赞/ 345 阅读

相关 linux shell 文件去除重复行

原始文本文件 $ cat test jason jason jason fffff jason

小灰灰/ 2021年09月02日 10:54/ 0 赞/ 507 阅读

相关 python3 文本文件内容去除重复行

环境：python3.8 import shutil 文件去除重复行 def remove_duplicates(path):

男娘i/ 2021年08月27日 14:48/ 0 赞/ 544 阅读