为什么Python适合写爬虫？Python到底有啥好的？！

╰+攻爆jí腚メ 2022-02-04 07:59 209阅读 0赞

我用c\#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的。因为目前对python并不熟，所以也不知道这是为什么。百度了下结果：

1）抓取网页本身的接口  
相比与其他静态编程语言，如java，c\#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）  
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如[Requests][]，[mechanize][]

2）网页抓取后的处理  
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的[beautifulsoap][]提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.

冲最后一句‘Life is short， u need python’，立马在当当上买了本python的书！以前就膜拜过python大牛，一直想学都扯于各种借口迟迟没有开始。。

py用在linux上很强大，语言挺简单的。

NO.1 快速开发（唯一能和python比开发效率的语言只有rudy）语言简洁，没那么多技巧，所以读起来很清楚容易。

NO.2跨平台（由于python的开源，他比java更能体现"一次编写到处运行"

NO.3解释性（ 无须编译，直接运行／调试代码）

NO.4构架选择太多（GUI构架方面 主要的就有 wxPython, tkInter, PyGtk, PyQt 。

顺便买了本《正则表达式》的书。

下班了，，先写到这把。。

多学习。To be niubility！

[Requests]: http://docs.python-requests.org/en/latest/index.html
[mechanize]: http://wwwsearch.sourceforge.net/mechanize/
[beautifulsoap]: http://www.crummy.com/software/BeautifulSoup/

发表评论取消回复

表情：

评论列表（有 0 条评论，209人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫怎么写

编写python爬虫需要了解一些相关的知识，比如网络爬虫的原理、网络爬虫的常见技术、如何使用Python的网络爬虫库等。建议先学习一些基础知识，然后熟悉Python语言，最后再

客官°小女子只卖身不卖艺/ 2024年03月25日 17:04/ 0 赞/ 44 阅读

相关 Python为什么叫爬虫？Python与爬虫有什么关系？

爬虫一般是指网络资源的抓取，由于Python的脚本特性，易于配置对字符的处理非常灵活，Python有丰富的网络抓取模块，因此两者经常联系在一起Python就被叫作爬虫。爬虫可以

旧城等待，/ 2023年02月20日 02:51/ 0 赞/ 1 阅读

相关爬虫到底可以有多简单—python来告诉你

我们先来看看到底什么是爬虫 [网络爬虫][Link 1]（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信

落日映苍穹つ/ 2023年02月20日 02:27/ 0 赞/ 7 阅读

相关想学好Python？总有一套适合你的教程

![381806dc8e44f3a3eed508a9b9cf6c18.gif][] Python入门从哪开始，以我的过往经验，发现很多的教程都是这样讲的：先介绍 P

骑猪看日落/ 2022年11月16日 15:26/ 0 赞/ 179 阅读

相关 python爬虫有什么好处_python为什么叫爬虫 python有什么优势

作为一门编程语言而言，Python是纯粹的自由软件，以简洁清晰的语法和强制使用空白符进行语句缩进的特点从而深受程序员的喜爱。很多程序员都会把python叫做爬虫，那么你们知道p

青旅半醒/ 2022年10月28日 00:51/ 0 赞/ 228 阅读

相关到底是 Java 好还是 Python 好？

语言的优劣之争是个永恒的话题，有时候一次偶然地“擦枪走火”甚至可能会引发一场铁杆粉丝之间的“战争”。也经常有人问我：“老刘，到底是Java好还是Python好？我应该学习

雨点打透心脏的1/2处/ 2022年04月13日 08:15/ 0 赞/ 231 阅读

相关为什么说python适合做入门语言？

前言对于基于0的人来说，直接学习Python编程合适吗? Python是最抽象的编程语言，最接近自然语言，并且非常容易使用。Python可以帮助您更好地理解编程。

短命女/ 2022年03月22日 09:39/ 0 赞/ 253 阅读

相关 Python到底有多好？为什么我认为Python能满足一切需求？

> Python是一门脚本编程语言，它被许多人认为是很强大的编程语言和技术信仰，为什么说它这么好呢，且听下面讲解Python有哪些好处。 1.代码直接编写直接运行

╰半橙微兮°/ 2022年02月15日 17:13/ 0 赞/ 242 阅读

相关为什么Python适合写爬虫？Python到底有啥好的？！

我用c\,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的。因为目前对python并不熟，所以也不知道这是为什

╰+攻爆jí腚メ/ 2022年02月04日 07:59/ 0 赞/ 210 阅读

相关到底是 Java 好还是 Python 好？

语言的优劣之争是个永恒的话题，有时候一次偶然地“擦枪走火”甚至可能会引发一场铁杆粉丝之间的“战争”。也经常有人问我：“老刘，到底是Java好还是Python好？我应该

红太狼/ 2021年07月31日 11:20/ 0 赞/ 410 阅读