linux 命令去掉重复行

墨蓝 2022-08-05 11:16 196阅读 0赞

打印指定列 域信息

more lance3333.txt | awk -F ":" '\{print $3\}'|awk '\{print $3\}'

把文件中的重复行 写入 lance444

awk 'a\[$0\]++' lance.txt  >> lance444.txt

把 lance.txt 文件中的不重复行 写入 lance333

awk '!a\[$0\]++' lance.txt  >> lance3333.txt

查询文件夹下所有包括指定字符串的文件内容 并把他们写入 lance.txt

grep -r "BatchUpdateException: Duplicate" ./\* >>lance.txt

查询文件中包括某个字符的所有行

grep -r "BatchUpdateException: Duplicate" /root/tomcat/logs/catalina.out

cat \`ls ./\*\` >> lance.txt

wc -l filename 就是查看文件里有多少行

FS服务器被攻击 数据出现重复时：

1、归集数据

cat \`ls ./\*\` >> lance.txt

2、数据去重

awk '!a\[$0\]++' lance.txt  >> data.txt

3、垃圾数据删除  删除包括有 以下关键字的记录行 删除指定条件的行

SUBSCRIBER\_ABSENT

NO\_ROUTE\_DESTINATION

sed -i -e '/NO\_ROUTE\_DESTINATION/d' data.txt  
sed -i -e '/SUBSCRIBER\_ABSENT/d' data.txt

4、统计行数

wc -l data.txt

5、cp 到

cp ~/data.txt    /usr/local/freeswitch/log/cdr-csv/Master.csv.2015-10-07-12-07-58 保持这个格式 会自动入账计费

awk '!a\[$0\]++' lance.txt  >> lance3333.txt

sed -i -e '/NO\_ROUTE\_DESTINATION/d' data.txt

发表评论取消回复

表情：

评论列表（有 0 条评论，196人围观）

还没有评论，来说两句吧...

相关阅读

相关 linux怎么重复命令,在Linux中，自动重复命令

问题描述是否有可能在linux命令行中每n秒重复一次命令。例如，假设我有一个导入运行，我正在做 ls -l 检查文件大小是否增加。我想有一个命令让它自动重复。最

比眉伴天荒/ 2023年01月19日 10:56/ 0 赞/ 108 阅读

相关 Linux命令行中的 ~ / Linux命令行中的~/

cd ~ 表示进入系统中home目录，一般就是你的root权限目录； ![在这里插入图片描述][20200807154353690.png] cd / 表示进入系统的根

绝地灬酷狼/ 2022年11月25日 05:23/ 0 赞/ 263 阅读

相关 matlab 矩阵去掉重复行

问题背景在做多目标离散问题优化算法时，利用多个不同的进化算子产生了重复的解，所以有必要记录一下如何去掉重复的解，精简问题规模，尤其时迭代到后期，很多相同的解解决

痛定思痛。/ 2022年08月30日 04:29/ 0 赞/ 247 阅读

相关实例详细说明linux下去除重复行命令uniq

一，uniq干什么用的文本中的重复行，基本上不是我们所要的，所以就要去除掉。linux下有其他命令可以去除重复行，但是我觉得uniq还是比较方便的一个。使用uniq的时候

超、凢脫俗/ 2022年08月10日 00:49/ 0 赞/ 121 阅读

相关 linux 命令去掉重复行

打印指定列域信息 more lance3333.txt | awk -F ":" '\{print $3\}'|awk '\{print $3\}' 把文件中的重复

墨蓝/ 2022年08月05日 11:16/ 0 赞/ 196 阅读

相关 linux命令行

1. 1 查询防火墙状态：firewall-cmd --state 2. 2 关闭防火墙：systemctl stop firewall

Bertha 。/ 2022年07月12日 02:56/ 0 赞/ 276 阅读

相关 linux命令行

1. 1 查询防火墙状态：firewall-cmd --state 2. 2 关闭防火墙：systemctl stop firewall

客官°小女子只卖身不卖艺/ 2022年07月12日 02:56/ 0 赞/ 260 阅读

相关 linux命令行

linux命令行更多文章欢迎访问个人博客 [www.herobin.top][] 查询目录中内容：ls ls [选项] [文件或目录]

蔚落/ 2022年03月24日 15:56/ 0 赞/ 325 阅读

相关 linux shell 文件去除重复行

原始文本文件 $ cat test jason jason jason fffff jason

小灰灰/ 2021年09月02日 10:54/ 0 赞/ 450 阅读

相关 linux cp 命令去掉提示

在Linux下，如果希望将文件file拷贝到目录dir下，可以执行：　　cp file dir 　　但如果dir下已经存在一个名为file的文件的时候，系统总是会提示是否

红太狼/ 2021年06月24日 13:58/ 0 赞/ 417 阅读