Python 爬虫模拟器

刺骨的言语ヽ痛彻心扉 2022-10-06 00:37 135阅读 0赞

# Python 爬虫模拟器 #

> 创建时间：2020年1月21日
> 
> 更新时间：2021年1月19日
> 
> 工具：python、fiddler、爬虫模拟器
> 
> 说明：适合http或https的请求

# 软件下载：[https://download.csdn.net/download/weixin\_44499757/19542867][https_download.csdn.net_download_weixin_44499757_19542867] #

1、安装fiddler抓包工具

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center]

2、安装python 环境

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 1]

3、打开fiddler工具，然后打开浏览器访问你需要抓包的网站，此时你访问网站的数据将被fiddler截获。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 2]

4、点击网页请求头下边的“View In Notepad”，弹出一个文本内容。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 3]

5、复制文件内容，打开爬虫模拟器目录，更新config文件夹下的RawFile.htm（不要修改文件名）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 4]

修改后：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 5]

6、运行create\_crawler.bat，/config/crawler\_config.json更新成功

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 6]

7、此时，就可运行爬虫了。运行run\_crawler.bat，返回结果自动保存至outhtml文件下的RawFile2020.txt

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 7]

8、以后，再次运行爬虫直接从第7步开始（除非有的网站有cookie、认证登录限制）。同时，我们可以根据需求修改run\_crawler.py文件，设置循环运行时长，提取的内容进行二次加工分析等。

from model.crawler_model import rawCrawler
    import time
    import os
    
    if __name__ == "__main__":
        os.system("title 爬虫模拟器") # 设置命令行窗口标题
    
        run_crawler = rawCrawler()  # 创建爬虫类
        
        while True:
            # 网页提交数据
            out_html = run_crawler.run_crawler()
            
            #命令行显示网页结果
            print("-"*20)
            print(out_html)
            print("-"*20)
    
            # 将返回结果out_html写入文件outhtml文件夹下的RawFile2020.txt中
            run_crawler.out_rawfile(out_html)
            
            # 延时600秒
            time.sleep(300)
            print()

[https_download.csdn.net_download_weixin_44499757_19542867]: https://download.csdn.net/download/weixin_44499757/19542867
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221005/a2ae80c55c2840ecb07e835c37a86135.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221005/ddadee03f9744821ab85fd973ace757b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221005/541681c739224f2390d5d2a17511a1c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221005/d482add3d89c47c6b8a0468f6175b575.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221005/b525fb76f8e1472ba14aa04c456cfcc9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221005/3200242a925f4f1fb1d57338f0d82442.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221005/0e2acc95de554ed38cdf8d4273abf3ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5OTc1Nw_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221005/041723a3d9814df3934c3bd3934194a8.png