nginx日志统计分析的相关常用命

小咪咪 2022-09-01 09:15 187阅读 0赞

查询指定关键词行数

sudo cat nohup.out | grep -E "POST|GET" | wc  -l

# 统计PV,UV数 #

统计所有的PV数

cat access.log | wc -l

统计当天的PV数

cat access.log | sed -n /`date "+%d\/%b\/%Y"`/p | wc -l

统计指定某一天的PV数

cat access.log | sed -n '/20\/Aug\/2019/p' | wc -l

统计指定某一天访问IP统计UV

cat access.log | grep "07/Apr/2019:0[4-5]" | awk '{print $1}' access.log|sort | uniq -c |wc -l

# IP相关统计 #

统计IP访问量（独立ip访问数量）

awk '{print $1}' access.log | sort -n | uniq | wc -l

查看某一时间段的IP访问量(4-5点)

grep "07/Apr/2019:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l

查看访问最频繁的前100个IP

awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100

查看访问100次以上的IP

awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn

查询某个IP的详细访问情况,按访问频率排序

grep '127.0.01' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100

# 页面访问统计 #

查看访问最频的页面(TOP100)

awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100

查看访问最频的页面(\[排除php页面】(TOP100)

grep -v ".php"  access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100

查询访问最频繁的URL

awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more

查看页面访问次数超过100次的页面

cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

查看最近1000条记录，访问量最高的页面

tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

# 每秒每分钟每小时请求量统计 #

统计每秒的请求数,top100的时间点(精确到秒)

awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100

统计每分钟的请求数,top100的时间点(精确到分钟)

awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100

每小时的请求数,top100的时间点(精确到小时)

awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100

# 性能分析 #

> 在nginx log中最后一个字段加入$request\_time

列出传输时间超过 3 秒的页面，显示前20条

cat access.log|awk '($NF > 3){print $7}'|sort -n|uniq -c|sort -nr|head -20

列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

cat access.log|awk '($NF > 1 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

# 蜘蛛抓取统计 #

统计蜘蛛抓取次数

grep 'Baiduspider' access.log |wc -l

统计蜘蛛抓取404的次数

grep 'Baiduspider' access.log |grep '404' | wc -l

# TCP连接统计 #

查看当前TCP连接数

netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l

用tcpdump嗅探80端口的访问看看谁最高

tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr

参考链接 ：  
nginx日志统计分析的相关常用命令 ：https://www.jianshu.com/p/8ed6141a68a3

发表评论取消回复

表情：

评论列表（有 0 条评论，187人围观）

还没有评论，来说两句吧...

相关阅读

相关 goaccess 日志分析 nginx

分析命令： goaccess -a -d -f /mnt/winshare/access-2023070112.log -p goaccess.conf -o

淡淡的烟草味﹌/ 2024年03月03日 08:28/ 0 赞/ 104 阅读

相关 Nginx Access Log日志统计分析常用命令

IP相关统计统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访

柔光的暖阳◎/ 2023年07月13日 16:27/ 0 赞/ 470 阅读

相关 Nginx日志分析统计 goaccess-1.3部署与使用

其实别人已经写得很好了，但是我将几个需要注意的点给标注一下。需求：及时得到线上用户nginx访问日志分析统计结果！我需要知道IP访问排行、链接访问排行、静态资源、404错误

迈不过友情╰/ 2023年02月20日 10:58/ 0 赞/ 15 阅读

相关 linux nginx 日志目录,nginx修改日志目录selinux相关设置

Loading... 今天配置完 nginx，改了一下默认的日志输出目录，然后照例检查 nginx 配置文件，结果检查不通过，提示如下错误： > nginx: the co

冷不防/ 2023年01月20日 12:48/ 0 赞/ 52 阅读

相关 php分析 nginx日志,Nginx Log日志统计分析常用命令

用shell实现统计nginx日志中出现次数最多的前k个ip? 答 awk '\{print $1\}' logfile | sort | uniq -c | sort -

落日映苍穹つ/ 2023年01月17日 10:52/ 0 赞/ 256 阅读

相关 nginx日志统计分析的相关常用命

查询指定关键词行数 sudo cat nohup.out | grep -E "POST|GET" | wc -l 统计PV,UV数统计所有的PV数

小咪咪/ 2022年09月01日 09:15/ 0 赞/ 188 阅读

相关 Nginx常用日志分割方法

方式一： nginx cronolog日志分割配置文档，根据下面方法，每分钟分割一次NGINX访问日志。 1.nginx日志配置 a

我不是女神ヾ/ 2022年07月26日 00:06/ 0 赞/ 1363 阅读

相关 10分钟精通Nginx访问日志分析统计

简介很多个人站长在搭建网站时使用nginx作为服务器，为了了解网站的访问情况，一般有两种手段：使用CNZZ之类的方式，在前端页面插入js，用户访问的时候触发js，记

绝地灬酷狼/ 2022年04月06日 09:49/ 0 赞/ 440 阅读

相关 Nginx Log日志统计分析常用命令

最近服务老是受攻击，看了下日志。一堆攻击啊，真是6，别人说了国内这网络环境乌烟瘴气的，确实如此，那么问题来了，如何查看日志是个大问题，下面是个大神总结的，记着以备后用： I

分手后的思念是犯贱/ 2022年02月13日 18:15/ 0 赞/ 274 阅读

相关 Nginx Log日志统计分析常用命令

1. 统计IP访问量（独立ip访问数量） awk '{print $1}' access.log | sort -n | uniq | wc -l 1. 查看某

旧城等待，/ 2022年01月16日 00:03/ 0 赞/ 293 阅读