单线程爬虫

落日映苍穹つ 2022-06-07 14:09 245阅读 0赞

单线程爬虫

Requests：HTTP for Humans

完美替代Python的urllib2模块

更多的自动化

更友好的用户体验

更完善的功能

第三方库安装技巧:

少用easy\_install因为只能安装不能卸载

多用pip方式安装

撞墙了，请戳 http://www.lfd.uci.edu/~gohlke/pythonlibs/

第一个网页爬虫

Requests获取网页源代码

\--直接获取源代码

\--修改http头获取源代码

Requests与正则表达式

使用Requests获取网页源代码，再使用正则表达式匹配出感兴趣的内容，这是单线程爬虫的基本原理。

#-*-coding:utf8-*-
    import requests
    import re
    import sys
    reload(sys)
    sys.setdefaultencoding("gb18030")
    type=sys.getfilesystemencoding()
    
    # headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebkit/537.36(KHTML,like Gecko)'}
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
    # html=requests.get('http://jp.tingroom.com/yuedu/yd300p')
    
    html=requests.get('http://jp.tingroom.com/yuedu/yd300p',headers=headers)
    html.encoding='utf-8'
    # print html.text
    title=re.findall('color:#666666;">(.*?)</span>',html.text,re.S)
    for each in title:
        print each
    
    chinese=re.findall('color: #039;(.*?)</a>',html.text,re.S)
    for each in chinese:
        print each

发表评论取消回复

表情：

评论列表（有 0 条评论，245人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis单线程理解

参考博客： [干货｜Redis单线程的正确理解][Redis] 单线程模型 Redis客户端对服务端的每次调用都经历了发送命令，执行命令，返回结果三个过程。执

电玩女神/ 2024年04月01日 19:41/ 0 赞/ 116 阅读

相关 Quartz 并发/单线程

Quartz定时任务默认都是并发执行的，不会等待上一次任务执行完毕，只要间隔时间到就会执行, 如果定时任执行太长，会长时间占用资源，导致其它任务堵塞。 1.在Spring中

ゝ一纸荒年。/ 2023年07月12日 14:09/ 0 赞/ 26 阅读

相关异步和单线程

![1038932-20180330102016250-760018119.png][] ![1038932-20180330102036022-1765813288.png

ゝ一纸荒年。/ 2023年06月11日 15:28/ 0 赞/ 44 阅读

相关 js单线程

js 单线程一、为什么JavaScript是单线程？ > JavaScript语言的一大特点就是单线程，也就是说，同一个时间只能做一件事。那么，为什么JavaSc

青旅半醒/ 2023年01月06日 13:00/ 0 赞/ 156 阅读

相关异步和单线程

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

忘是亡心i/ 2022年11月10日 14:27/ 0 赞/ 234 阅读

相关 python pip下安装Requests；实现单线程爬虫

1、打开python安装路径； 2、电脑cmd下，进入python安装路径下的Scripts文件下；（前题安装好pip，一般自动安装） 3、运行 `pip instal

ゞ浴缸里的玫瑰/ 2022年09月29日 01:51/ 0 赞/ 20 阅读

相关单线程爬虫

单线程爬虫 Requests：HTTP for Humans 完美替代Python的urllib2模块更多的自动化更友好的用户体验更完善的功能

落日映苍穹つ/ 2022年06月07日 14:09/ 0 赞/ 246 阅读

相关 Redis单线程理解

简介从接触Redis到现在，一直被它的单线程问题困扰，这对于一个苛求原理的我来说是种折磨，今天吃饭途中看了几篇博客，茅塞顿开。个人理解 red

女爷i/ 2022年05月19日 06:26/ 0 赞/ 280 阅读

相关案例_(单线程)使用正则的内涵段子爬虫

(单线程)使用正则的内涵段子爬虫代码如下 1 from urllib.request import 2 import re 3 im

偏执的太偏执、/ 2022年05月14日 12:37/ 0 赞/ 220 阅读

相关 Redis单线程原理

[Redis单线程原理][Redis] redis是以socket方式通信，socket服务端可同时接受多个客户端请求连接，也就是说，redis服务同时面对多个redis

朴灿烈づ我的快乐病毒、/ 2022年01月28日 14:05/ 0 赞/ 344 阅读