linux awk命令详解时间转时间戳,数据需求统计常用shell命令---AWK分组求和，分组统计次数...

曾经终败给现在 2023-01-20 08:24 21阅读 0赞

1、将时间转换为时间戳

select unix\_timestamp('2009-10-26 10-06-07')

如果参数为空，则处理为当前时间

2、将时间戳转换为时间

select from\_unixtime(1256540102)

有些应用生成的时间戳是比这个多出三位，是毫秒表示，如果要转换，需要先将最后三位去掉(标准的10位数字，如果是13位的话可以以除以1000的方式)，否则返回NULL

1.将IP地址转化为数字

select inet\_aton('210.30.0.103');

2.将数字转化为IP地址

select inet\_ntoa(3525181543);

随机取用户

cat  file1 | awk '\{ print rand(),$1 \}' |sort -k1 |awk '\{ print $2 \}' |head -4000

分组求和

awk '\{s\[$1\] += $2\}END\{ for(i in s)\{  print i, s\[i\] \} \}' file1 > file2

以第一列 为变量名  第一列为变量，将相同第一列的第二列数据进行累加   打印出和

![6c51f6933d08da3eec8c12c0c2e54415.png][]

awk '\{s\[$1" "$2\] += $3\}END\{ for(i in s)\{  print i, s\[i\] \} \}'  file1 > file2

以第一列和第二列为变量名， 将相同第一列、第二列的第三列数据进行累加   打印出和

![1c1e97104b29722a794b2f8b115bb19b.png][]

awk '\{s\[$1\] += $2; a\[$1\] += $3 \}END\{ for(i in s)\{  print i,s\[i\],a\[i\] \} \}'  haha.txt

如果第一列相同，则根据第一列来分组，分别打印第二列和第三列的和

![21d1f3ea1aaf2585dad80840fe685b22.png][]

匹配

1、匹配交集项

awk 'NR==FNR\{a\[$1\]=1\}NR>FNR&&a\[$1\]>0\{print $0\}'  file1(字段：QQ) file2(字段：QQ 点券值 ) > file3

如果file1、file2中，2个文件的第一列值相同，输出第2个文件的所有列

注意：数据量如果达到4Gb以上或者行数达到一亿级别，建议将file2进行split分割，否则就算是32G的内存的机器都会被吃掉；

![af49ff0d03cf2fd9c3995e8557f164ff.png][]

awk 'NR==FNR\{a\[$1" "$2\]=1\}NR>FNR&&a\[$1" "$2\]>0\{print $0\}'  file1 file2> file3

如果file1、file2中，2个文件的第一列第二列值相同，输出第2个文件的所有列

![33c090ab431a37ca914a9bdbcb8a642b.png][]

2、匹配非交集项

awk 'NR==FNR\{a\[$1\]=1\}NR>FNR&&a\[$1\]<1 \{print $0\}'  file1 file2 > file3

针对2个文件的第一列做比较，输出：在file2中去除file1中第一列出现过的行

![67bb6a8ad84428a08e01d81728370c99.png][]

第二种方法：

cat file1 file2|sort |uniq -d>jiaoji.txt

cat file2 jiaoji.txt|sort |uniq -u > file3

取最大值、最小值

1、针对(2列的文件)

awk '\{max\[$1\]=max\[$1\]>$2?max\[$1\]:$2\}END\{for(i in max)print i,max\[i\]\}'  file

第一列不变，取第二列分组最大值

awk '\{if(!min\[$1\])min\[$1\]=20121231235959;min\[$1\]=min\[$1\]

第一列不变，取第二列分组最小值

2、针对单列的文件

awk 'BEGIN \{max = 0\} \{if ($1>max) max=$1 fi\} END \{print "Max=", max\}' file2

awk 'BEGIN \{min = 1999999\} \{if ($1

求和、求平均值、求标准偏差

求和

cat data|awk '\{sum+=$1\} END \{print "Sum = ", sum\}'

求平均

cat data|awk '\{sum+=$1\} END \{print "Average = ", sum/NR\}'

求标准偏差

cat $FILE | awk -v ave=$ave '\{sum+=($1-ave)^2\}END\{print sqrt(sum/(NR-1))\}'

整合行和列

1、列换成行

如果第一列相同，将所有的第二列 第三列 都放到一行里面

awk '\{qq\[$1\]=qq\[$1\](" "$2" "$3)\}END\{for(i in qq)print i,qq\[i\]\}'

![d3af38ad2a8b92e543effb504dff7273.png][]

2、合并文件

2个文件，每个2列，将他们按照第一列相同的数，来合并成一个三列的文件,同时，将每个文件中针对第一列对应第二列中没有的数补0

awk 'FNR==NR\{a\[$1\]=$2\}FNR file3

注意点：文件2 一定要比文件1 的行数小

![38847525134adc0b08f394de89970256.png][]

3、2个文件，每个3列，将他们按照第一列、第二列相同的数，来合并成一个4列的文件,同时，将每个文件中针对第一列、第二列对应第3列中没有的数补0

awk 'FNR==NR\{a\[$1" "$2\]=$3\}FNR

4、将列换成行，遇到空行，另起下一行

5、某列数字范围筛选

cat   canshu |while read a b

awk '\{ if ($2>'"$a"' && $2<='"$b"' ) print $1\}' result.txt  > "$a"\_"$b"\_result.log

done

注意点：awk使用函数时，使用'"$a"'(先单引号，后双引号)

集合类

![87e1a6394185102ad88563ba95474a0a.png][]

1、集合交

cat fileA fileB |sort |uniq –d > result.log

2、集合差

cat fileA fileB     |sort |uniq -d   > jiaoji.txt

cat fileA jiaoji.txt  |sort |uniq -u   > result.log

3、集合全集去重

cat fileA fileB |sort  -u > result.log

3、集合全集不去重

cat fileA fileB |sort     > result.log

[6c51f6933d08da3eec8c12c0c2e54415.png]: /images/20221021/7e034203c9224e4ba284254a761252db.png
[1c1e97104b29722a794b2f8b115bb19b.png]: /images/20221021/0e12590c3ca340a6822ea4f52830dbfe.png
[21d1f3ea1aaf2585dad80840fe685b22.png]: /images/20221021/f3271ec58ace4d2e906d94a529d1c57e.png
[af49ff0d03cf2fd9c3995e8557f164ff.png]: /images/20221021/90630c8bf1334cd0ab5f034c82f8674f.png
[33c090ab431a37ca914a9bdbcb8a642b.png]: /images/20221021/38267b9fd45949a68ce6d2cfe8316d1a.png
[67bb6a8ad84428a08e01d81728370c99.png]: /images/20221021/8d1eafdb0c3f4966bc35a1f269ad3f87.png
[d3af38ad2a8b92e543effb504dff7273.png]: /images/20221021/e7220331080c460ca1fabd079457eb84.png
[38847525134adc0b08f394de89970256.png]: /images/20221021/bfce6f7d8bc04541b4839a937569fd9c.png
[87e1a6394185102ad88563ba95474a0a.png]: /images/20221021/a5ee9c33ff9c46589b5ab9176709d5f5.png