初学者用python写爬虫就这么简单

落日映苍穹つ 2022-05-27 11:23 179阅读 0赞

![20180417203832433][]

很多人害怕python复杂，还没入门就被吓倒了，今天我就要证明个大家看，python很简单。（高手们就别提底层了，留点入门的信心我们吧，我们就写个爬虫玩玩，玩玩而已。）使用python写一个入门级的非常简单的爬虫。

### \#第一种方法 ###

import urllib2 \#将urllib2库引用进来  
response=urllib2.urlopen("http://www.xiaofamao.com") \#调用库中的方法，将请求回应封装到response对象中  
html=response.read() \#调用response对象的read（）方法，将回应字符串赋给hhtml变量  
print html \#打印出来

### \#第二中方法 ###

import urllib2  
req=urllib2.Request("http://www.xiaofamao.com")  
response=urllib2.urlopen(req)  
html = response.read()  
print html  
  
一般情况下，上面的爬虫，如果大量爬行，会被限制访问，所以要伪装成浏览器进行访问  
这里用伪装成IE9.0进行访问

###    \#要求请的url地址 ###

import urllib2  
url="http://www.xiaofamao.com"  
\#要伪装的浏览器user\_agent头  
user\_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36;"  
\#创建字典，使请求的headers中的’User-Agent‘：对应user\_agent字符串  
headers=\{'User-Agent':user\_agent\}  
\#新建一个请求，将请求中的headers变换成自己定义的  
req =urllib2.Request(url,headers=headers)  
\#请求服务器，得到回应  
response=urllib2.urlopen(req)  
\#得到回应内容  
the\_page=response.read()  
\#打印结果  
print the\_page

[20180417203832433]: /images/20220527/fedc5caf02534bc99423f72c0119b3b7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，179人围观）

还没有评论，来说两句吧...

相关阅读

相关用python写一个爬虫

可以使用 Python 的第三方库 `requests` 和 `BeautifulSoup` 来编写一个爬虫。首先，需要安装这两个库，可以使用 `pip` 命令来安装：

女爷i/ 2024年03月27日 12:47/ 0 赞/ 44 阅读

相关 Controller 就该这么写

一个优秀的Controller层逻辑 > 说到 Controller，相信大家都不陌生，它可以很方便地对外提供数据接口。它的定位，我认为是「不可或缺的配角」，说它不可或缺

迈不过友情╰/ 2023年09月23日 14:39/ 0 赞/ 96 阅读

相关简历就应该这么写

北京科技大学毕业，计算机专业小硕一枚 12年6月毕业开始接触web前端，就职于百度，在hao123部门做到了前端技术负责人 15年7月从百度离职，加入滴滴，前端技术专家，

痛定思痛。/ 2022年08月23日 08:44/ 0 赞/ 168 阅读

相关初学者用python写爬虫就这么简单

![20180417203832433][] 很多人害怕python复杂，还没入门就被吓倒了，今天我就要证明个大家看，python很简单。（高手们就别提底层了，留点入门

落日映苍穹つ/ 2022年05月27日 11:23/ 0 赞/ 180 阅读

相关 Tomcat就是这么简单

本文来自：[https://juejin.im/post/5a75b0be5188254e761781d7][https_juejin.im_post_5a75b0be518

素颜马尾好姑娘i/ 2022年04月03日 10:20/ 0 赞/ 210 阅读

相关简单的Python爬虫就是这么简单

> python小白笔记。本人用到的是urllib2和正则的方式，爬取简书首页的文章列表，并存储到sqlite3中。 1. 开发工具和用到的库 Python下载：

清疚/ 2022年01月19日 01:29/ 0 赞/ 185 阅读

相关 UML就是这么简单

什么是UML？ UML全称是：Unified Modeling Language 又称统一建模语言或标准建模语言。 > 是一个支持模型化和软件系统开发的图形化语言，为软

浅浅的花香味﹌/ 2021年09月30日 18:10/ 0 赞/ 236 阅读

相关注解就这么简单

前言今天要讲的是注解，对于本章节，最好是有Servlet基础的人查阅～因为单纯是Java基础的话，可能用不上注解这个东西。但如果开发过Servlet，就对`@WebSe

雨点打透心脏的1/2处/ 2021年09月15日 04:00/ 0 赞/ 349 阅读

相关基数排序就这么简单

一、基数排序(桶排序)介绍来源360百科： > 基数排序(radix sort)属于”分配式排序”(distribution sort)，又称”桶子法”(bucket

以你之姓@/ 2021年09月15日 02:26/ 0 赞/ 316 阅读

相关 Elasticsearch就这么简单

一、前言最近有点想弄一个站内搜索的功能，之前学过了Lucene，后来又听过Solr这个名词。接着在了解全文搜索的时候就发现了Elasticsearch这个，他也是以Lu

你的名字/ 2021年09月15日 01:48/ 0 赞/ 360 阅读