记一次爬虫框架出现的问题
最近用框架试手的过程中出现一个奇怪的问题，就是框架中添加headers，我也知道一般添加headers的三种方法，网上比比皆是，我自己的博客里也有，但是在实际的运用中还是出现了问题，具体问题如下（请忽略我劣质的代码）：
我是采用这种方法添加的headers，至于为什么，个人觉得虽然这种方法稍微麻烦但是更加灵活，适用于请求头里的参数不一致或者不同的请求对应不同的headers的情况。
那么问题是什么呢？
问题是这个headers添加的很成功，但是下面的这个函数里面，一样的headers，一直无法请求到结果：
刚开始以为是没有运行，结果调试了一下发现真的走了这一步，就只是单纯的没有请求到结果，接下来就是尝试各种方法总是没有效果，最后打印了一下请求的headers发现了一个奇怪的现象。
不知道为什么框架在运行的时候往请求头里添加了一个Referer的参数，就是因为多了这么一个参数，导致我的请求一直是错误的，有哪位大佬知道这是什么原因造成的还望不吝赐教。
知道了原因，就可以解决问题了，于是我在中间件里加入了如下的代码
请忽略我打印的东西，纯属为了调试，大家不要养成这个习惯，加上了这些代码以后，就可以愉快的跑起来了。
ps:不要在意我的代码，只是为了练手，真的代码还是需要优化，只是告诉大家要善于利用中间件来解决请求时的问题，希望对你有所帮助。
迈不过友情╰
灰太狼
太过爱你忘了你带给我的痛
还没有评论，来说两句吧...