利用shell命令统计日志的方法详解

女爷i 2022-05-14 00:35 231阅读 0赞

**前言**

大家都知道，通过使用 shell 命令可以很方便地对日志进行统计和分析，当服务有异常的时候，需要去排查日志，那么掌握一种统计日志的技巧就是必不可少的了。

假设有一个包含下面内容的日志文件 access.log。我们以统计这个文件的日志为例。

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> </td> 
   <td> <p><code>date</code><code>=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=</code><code>/api/foo/bar</code><code>?params=something | status=200 | </code><code>time</code><code>=9.703 | bytes=129 | referrer=</code><code>"-"</code> <code>| user-agent=</code><code>"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7"</code> <code>| cookie=</code><code>"-"</code></p> <p><code>date</code><code>=2017-09-23 00:00:00 | ip=100.109.222.3 | method=HEAD | url=</code><code>/api/foo/healthcheck</code> <code>| status=200 | </code><code>time</code><code>=0.337 | bytes=10 | referrer=</code><code>"-"</code> <code>| user-agent=</code><code>"-"</code> <code>| cookie=</code><code>"-"</code></p> <p><code>date</code><code>=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=</code><code>/api/foo/bar</code><code>?params=anything | status=200 | </code><code>time</code><code>=8.829 | bytes=466 | referrer=</code><code>"-"</code> <code>| user-agent=</code><code>"GuzzleHttp/6.2.0 curl/7.19.7 PHP/7.0.15"</code> <code>| cookie=</code><code>"-"</code></p> <p><code>date</code><code>=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=</code><code>/api/foo/bar</code><code>?params=everything | status=200 | </code><code>time</code><code>=9.962 | bytes=129 | referrer=</code><code>"-"</code> <code>| user-agent=</code><code>"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7"</code> <code>| cookie=</code><code>"-"</code></p> <p><code>date</code><code>=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=</code><code>/api/foo/bar</code><code>?params=nothing | status=200 | </code><code>time</code><code>=11.822 | bytes=121 | referrer=</code><code>"-"</code> <code>| user-agent=</code><code>"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7"</code> <code>| cookie=</code><code>"-"</code></p> </td> 
  </tr> 
 </tbody> 
</table>

不同的服务对应的日志可能不一样，本文使用示例日志的格式是：

[?][Link 1]

**注意：**mac 系统和 linux 系统中的命令行为可能不同，以下命令请在 linux 系统中使用

**排除特殊日志**

统计日志时，我们可能不关心 HEAD 请求，或者只关心 GET 请求，这里首先需要筛选日志，可以使用 grep 命令。-v 的含义是排除匹配的文本行。

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>grep</code> <code>GET access.log </code><code># 只统计 GET 请求</code></p> <p><code>grep</code> <code>-</code><code>v</code> <code>HEAD access.log </code><code># 不统计 HEAD 请求</code></p> <p><code>grep</code> <code>-</code><code>v</code> <code>'HEAD\|POST'</code> <code>access.log </code><code># 不统计 HEAD 和 POST 请求</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**查看接口耗时情况**

我们可以将每行的 time 匹配出来，然后做一个排序。使用 awk 的 match 方法可以匹配正则：

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>awk</code> <code>'{ match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1]}'</code> <code>access.log</code></p> </td> 
  </tr> 
 </tbody> 
</table>

awk 命令使用方法如下：

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>awk</code> <code>'{pattern + action}'</code> <code>{filenames}</code></p> </td> 
  </tr> 
 </tbody> 
</table>

我们实际上只用到了 `action：match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1] `这一段。

match 方法接收三个参数：需要匹配的文本、正则表达式、结果数组。$0 代表 awk 命令处理的每一行，结果数组是可选的，因为我们要拿到匹配结果所以这里传入了一个 result 数组，用来存储匹配后的结果。

注意这里的正则我没有使用 \\d 来表示数字，因为 awk 指令默认使用 “EREs"，不支持 \\d 的表示，具体请看 [linux shell 正则表达式(BREs,EREs,PREs)差异比较][linux shell _BREs_EREs_PREs]。

result 数组实际上和 javascript 里的结果数组很像了，所以我们打印出第二个元素，即匹配到的内容。执行完这行命令后结果如下：

[?][Link 1]

当然实际上一天的日志可能是成千上万条，我们需要对日志进行排序，且只展示前 3 条。这里使用到 sort 命令。

sort 命令默认从小到大排序，且当作字符串排序。所以默认情况下使用 sort 命令之后 "11" 会排在 "8" 前面。那么需要使用 -n 指定按数字排序，-r 来按从大到小排序，然后我们查看前 3 条：

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>awk</code> <code>'{ match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1]}'</code> <code>access.log | </code><code>sort</code> <code>-rn | </code><code>head</code> <code>-3</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果：

[?][Link 1]

**查看耗时最高的接口**

当然我们一般不会只查看接口耗时情况，还需要把具体日志也打印出来，上面的命令就不能满足要求了。

awk 的打印默认是按空格分隔的，意思是 2017-09-23 GET 这一行如果使用 awk '\{print $1\}' 会打印出 "2017-09-23"，类似地，$2 会打印出 GET。

根据日志特征，我们可以使用 | 来作为分隔符，这样就能打印出各个我们感兴趣的值了。因为我们想找出耗时最高的接口，那么我们把 time、date 和 url 单独找出来。

awk 的 -F 参数用来自定义分隔符。然后我们可以数一下三个部分按 | 分隔后分别是第几个：time 是第 6 个、date 是第 1 个、url 是第 4 个。

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>awk</code> <code>-F </code><code>'|'</code> <code>'{print $6 $1 $4}'</code> <code>access.log</code></p> </td> 
  </tr> 
 </tbody> 
</table>

这样打出来结果为：

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> </td> 
   <td> <p><code>time=9.703 date=2017-09-23 13:32:50 url=/api/foo/bar?params=something</code></p> <p><code>time=0.337 date=2017-09-23 00:00:00 url=/api/foo/healthcheck</code></p> <p><code>time=8.829 date=2017-09-23 13:32:50 url=/api/foo/bar?params=anything</code></p> <p><code>time=9.962 date=2017-09-23 13:32:50 url=/api/foo/bar?params=everything</code></p> <p><code>time=11.822 date=2017-09-23 13:32:50 url=/api/foo/bar?params=nothing</code></p> </td> 
  </tr> 
 </tbody> 
</table>

因为我们想按 time 来排序，而 sort 可以按列来排序，而列是按空格分隔的，我们目前第一列是 time=xxx，是不能排序的，所以这里要想办法把 time= 给去掉，因为我们很鸡贼地把耗时放在了第一列，那么其实再通过 time= 进行分隔一下就行了。

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>awk</code> <code>-F </code><code>'|'</code> <code>'{print $6 $1 $4}'</code> <code>access.log | </code><code>awk</code> <code>-F </code><code>'time='</code> <code>'{print $2}'</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果：

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> </td> 
   <td> <p><code>9.703 </code><code>date</code><code>=2017-09-23 13:32:50 url=</code><code>/api/foo/bar</code><code>?params=something</code></p> <p><code>0.337 </code><code>date</code><code>=2017-09-23 00:00:00 url=</code><code>/api/foo/healthcheck</code></p> <p><code>8.829 </code><code>date</code><code>=2017-09-23 13:32:50 url=</code><code>/api/foo/bar</code><code>?params=anything</code></p> <p><code>9.962 </code><code>date</code><code>=2017-09-23 13:32:50 url=</code><code>/api/foo/bar</code><code>?params=everything</code></p> <p><code>11.822 </code><code>date</code><code>=2017-09-23 13:32:50 url=</code><code>/api/foo/bar</code><code>?params=nothing</code></p> </td> 
  </tr> 
 </tbody> 
</table>

使用 sort 的 -k 参数可以指定要排序的列，这里是第 1 列；再结合上面的排序，就能把耗时最高的日志打印出来了：

[?][Link 1]

结果：

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>11.822 date=2017-09-23 13:32:50 url=/api/foo/bar?params=nothing</code></p> <p><code>9.962 date=2017-09-23 13:32:50 url=/api/foo/bar?params=everything</code></p> <p><code>9.703 date=2017-09-23 13:32:50 url=/api/foo/bar?params=something</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**统计请求次数最多的接口**

如果需要统计哪些接口每天请求量是最多的，只需要新引入 uniq 命令。

我们已经可以通过 `grep -v HEAD access.log | awk -F '|' '{print $4}' `来筛选出所有的 url，uniq 命令可以删除 相邻 的相同的行，而 -c 可以输出每行出现的次数。

所以我们先把 url 排序以让相同的 url 放在一起，然后使用 uniq -c 来统计出现的次数：

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>grep</code> <code>-</code><code>v</code> <code>HEAD access.log | </code><code>awk</code> <code>-F </code><code>'|'</code> <code>'{print $4}'</code> <code>| </code><code>sort</code> <code>| </code><code>uniq</code> <code>-c</code></p> </td> 
  </tr> 
 </tbody> 
</table>

因为示例日志数量太少，我们假设日志里有多条，那么结果应该类似下面：

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> </td> 
   <td> <p><code>1 url=</code><code>/api/foo/bar</code><code>?params=anything</code></p> <p><code>19 url=</code><code>/api/foo/bar</code><code>?params=everything</code></p> <p><code>4 url=</code><code>/api/foo/bar</code><code>?params=nothing</code></p> <p><code>5 url=</code><code>/api/foo/bar</code><code>?params=something</code></p> </td> 
  </tr> 
 </tbody> 
</table>

接下来再 sort 即可：

[?][Link 1]

[Link 1]: https://www.jb51.net/article/124440.htm#
[linux shell _BREs_EREs_PREs]: https://www.jb51.net/article/43458.htm