python抓取并分析日志样本

不念不忘少年蓝@ 2022-03-17 08:42 391阅读 0赞

## 背景 ##

最近需要帮我哥做个python小功能，功能的目的就是分析现有的一堆access日志文件（`不包含实时增量分析`，`仅针对固定样本日志`，约400mb），从中查找出包含某一关键字的日志，并提取ip出来，统计同一ip出现的次数。

## 功能分析 ##

1.  `遍历`日志文件
2.  `逐行加载`日志
3.  分析每行中是否包含`关键字`
4.  包含关键字的日志行用`正则表达式提取ip`
5.  `统计`ip出现的次数
6.  print`输出结果到txt文件`
7.  `excel>数据>从文本/csv导入`，导入并分析

## 目录结构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70]

*  新建一个`log.txt`文件用于保存记录
 *  新建一个`log-scanner.py`用于编写代码
 *  新建`log2`仅保存1个日志样本
 *  新建`log`文件夹保存`所有`待分析日志

## 代码Show ##

以下代码做了`保密`处理，待查找的字符串已经替换为`zhengkai.blog.csdn.net`，具体业务场景具体实现，这里也可能是做其他的一些分析场景，且分析的日志也不一定是accesslog，也可以是控制台输出等等，总之，`demo要易懂，思路要活跃`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 1]

import os
    import re
    import numpy
    path = "D:/workspace/python/log-scanner/log" #文件夹目录
    files= os.listdir(path) #得到文件夹下的所有文件名称
    countX = []
    for file in files: #遍历文件夹
         if not os.path.isdir(file): #判断是否是文件夹，不是文件夹才打开
              f = open(path+"/"+file); #打开文件
              iter_f = iter(f); #创建迭代器
              #str = ""
              for line in iter_f: #遍历文件，一行行遍历，读取文本
                  if line.find("zhengkai.blog.csdn.net") > -1:
                     #str = str + line
                     #
                     result = re.findall(r"\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b", line)
                     print("包含zhengkai.blog.csdn.net的IP地址：",result)
                     #每个文件的文本存到list中.这里获取到的是数组[]，需要join成字符串string类型
                     countX.append(''.join(result)) 
    #转换list为set，得到统计的不同类型ip
    #unhashable type: 'list'
    #countSet=set(countX)
    countSet=numpy.unique(countX)
    #print('包含zhengkai.blog.csdn.net的IP的个数：'+len(countSet))
    logfile = open("D:/workspace/python/log-scanner/log.txt", 'w+')  
    for ip in countSet:
    	#
        #print (' IP:',ip,' 出现次数:',countX.count(ip))
        #用英文逗号,连接，方便在excel的数据 从文本导入中格式化导入
        print ('出现次数,',countX.count(ip),',IP,',ip,file=logfile)

## 输出情况 ##

可以看到控制台输出以下内容  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 2]

接着，在excel中进行导入，找到`数据`栏目，选择`从txt/csv导入`，确认分隔符等信息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 3]  
查看分析结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 4]

## 后言 ##

其实很多地方还可以改进的，例如末尾加多一个print(‘日志分析完成’)，添加日志分析进度条等。或者用python库直接输出到excel表也是ok的，这个等有空再深入研究，谢谢大家的查看。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70]: /images/20220317/c5ab051eb0f2496aafaf7d2aef614077.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 1]: /images/20220317/e2bddc2111914471bb46701538187e95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 2]: /images/20220317/b711d5dc7590434b9e05647aea0bb02a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 3]: /images/20220317/12776ef4999b42048da762235c42ea28.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 4]: /images/20220317/bcef807d0c2a4b3b8fce26d3960fb0b0.png