Python实战之如何爬取猫眼电影排行？本文详解

青旅半醒 2023-02-16 05:29 26阅读 0赞

![format_png][]

本节中，我们利用requests库和正则表达式来抓取猫眼电影TOP100的相关内容。requests比urllib使用更加方便，而且目前我们还没有系统学习HTML解析库，所以这里就选用正则表达式来作为解析工具。

**1. 本节目标**

本节中，我们要提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息，提取的站点URL为http://maoyan.com/board/4，提取的结果会以文件形式保存下来。

**2. 准备工作**

在本节开始之前，请确保已经正确安装好了requests库。如果没有安装，可以参考第1章的安装说明。

**3. 抓取分析**

我们需要抓取的目标站点为http://maoyan.com/board/4，打开之后便可以查看到榜单信息，如图3-11所示。  
4.**注意：**光理论是不够的。这里顺便免费送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

![f7b78e2d92d43eea8459f7ccd466c16.png][]

排名第一的电影是霸王别姬，页面中显示的有效信息有影片名称、主演、上映时间、上映地区、评分、图片等信息。

将网页滚动到最下方，可以发现有分页的列表，直接点击第2页，观察页面的URL和内容发生了怎样的变化，如图3-12所示。

![6b9997eb13b6015bec7cef904fc6e75.png][]

可以发现页面的URL变成http://maoyan.com/board/4?offset=10，比之前的URL多了一个参数，那就是offset=10，而目前显示的结果是排行11~20名的电影，初步推断这是一个偏移量的参数。再点击下一页，发现页面的URL变成了http://maoyan.com/board/4?offset=20，参数offset变成了20，而显示的结果是排行21~30的电影。

由此可以总结出规律，offset代表偏移量值，如果偏移量为n，则显示的电影序号就是n+1到n+10，每页显示10个。所以，如果想获取TOP100电影，只需要分开请求10次，而10次的offset参数分别设置为0、10、20、…90即可，这样获取不同的页面之后，再用正则表达式提取出相关信息，就可以得到TOP100的所有电影信息了。

**4. 抓取首页**

接下来用代码实现这个过程。首先抓取第一页的内容。我们实现了get\_one\_page()方法，并给它传入url参数。然后将抓取的页面结果返回，再通过main()方法调用。初步代码实现如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 </td> 
 <td> <code>import&nbsp;requests</code> <code>def&nbsp;get_one_page(url):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>response&nbsp;=&nbsp;requests.get(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>response.status_code&nbsp;==&nbsp;200:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>response.text</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>None</code> <code>def&nbsp;main():</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;=&nbsp;</code><code>'http://maoyan.com/board/4'</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html&nbsp;=&nbsp;get_one_page(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(html)</code> <code>main()</code> </td> 
 </tr> 
 </tbody> 
</table>

这样运行之后，就可以成功获取首页的源代码了。获取源代码后，就需要解析页面，提取出我们想要的信息。

**5. 正则提取**

接下来，回到网页看一下页面的真实源码。在开发者模式下的Network监听组件中查看源代码，如图3-13所示。

![d2c73975ba9bfcef6880106c60439fa.png][]

注意，这里不要在Elements选项卡中直接查看源码，因为那里的源码可能经过JavaScript操作而与原始请求不同，而是需要从Network选项卡部分查看原始请求得到的源码。

查看其中一个条目的源代码，如图3-14所示。

![a397f4a9c48111c0673fcaab08384e9.png][]

可以看到，一部电影信息对应的源代码是一个dd节点，我们用正则表达式来提取这里面的一些电影信息。首先，需要提取它的排名信息。而它的排名信息是在class为board-index的i节点内，这里利用非贪婪匹配来提取i节点内的信息，正则表达式写为：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>&lt;dd&gt;.*?board-index.*?&gt;(.*?)&lt;/i&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

随后需要提取电影的图片。可以看到，后面有a节点，其内部有两个img节点。经过检查后发现，第二个img节点的data-src属性是图片的链接。这里提取第二个img节点的data-src属性，正则表达式可以改写如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>&lt;dd&gt;.*?board-index.*?&gt;(.*?)&lt;/i&gt;.*?data-src=</code><code>"(.*?)"</code> </td> 
 </tr> 
 </tbody> 
</table>

再往后，需要提取电影的名称，它在后面的p节点内，class为name。所以，可以用name做一个标志位，然后进一步提取到其内a节点的正文内容，此时正则表达式改写如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>&lt;dd&gt;.*?board-index.*?&gt;(.*?)&lt;/i&gt;.*?data-src=</code><code>"(.*?)"</code><code>.*?name.*?a.*?&gt;(.*?)&lt;/a&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

再提取主演、发布时间、评分等内容时，都是同样的原理。最后，正则表达式写为：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>&lt;dd&gt;.*?board-index.*?&gt;(.*?)&lt;/i&gt;.*?data-src=</code><code>"(.*?)"</code><code>.*?name.*?a.*?&gt;(.*?)&lt;/a&gt;.*?star.*?&gt;(.*?)&lt;/p&gt;.*?releasetime.*?&gt;</code> <code>(.*?)&lt;/p&gt;.*?integer.*?&gt;(.*?)&lt;/i&gt;.*?fraction.*?&gt;(.*?)&lt;/i&gt;.*?&lt;/dd&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

这样一个正则表达式可以匹配一个电影的结果，里面匹配了7个信息。接下来，通过调用findall()方法提取出所有的内容。

接下来，我们再定义解析页面的方法parse\_one\_page()，主要是通过正则表达式来从结果中提取出我们想要的内容，实现代码如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>def&nbsp;parse_one_page(html):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pattern&nbsp;=&nbsp;re.compile(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'&lt;dd&gt;.*?board-index.*?&gt;(.*?)&lt;/i&gt;.*?data-src=</code><code>"(.*?)"</code><code>.*?name.*?a.*?&gt;(.*?)&lt;/a&gt;.*?star.*?&gt;(.*?)&lt;/p&gt;.</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>*?releasetime.*?&gt;(.*?)&lt;/p&gt;.*?integer.*?&gt;(.*?)&lt;/i&gt;.*?fraction.*?&gt;(.*?)&lt;/i&gt;.*?&lt;/dd&gt;',re.S)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>items&nbsp;=&nbsp;re.findall(pattern,&nbsp;html)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(items)</code> </td> 
 </tr> 
 </tbody> 
</table>

这样就可以成功地将一页的10个电影信息都提取出来，这是一个列表形式，输出结果如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 </td> 
 <td> <code>[(</code><code>'1'</code><code>,&nbsp;</code><code>'http://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'霸王别姬'</code><code>,&nbsp;'</code> &nbsp; <code>主演：张国荣,张丰毅,巩俐</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1993-01-01(中国香港)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>6'),</code> <code>(</code><code>'2'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/__40191813__4767047.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'肖申克的救赎'</code><code>,&nbsp;'</code> &nbsp; <code>主演：蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1994-10-14(美国)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>5'),</code> <code>(</code><code>'3'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/fc9d78dd2ce84d20e53b6d1ae2eea4fb1515304.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'这个杀手不太冷'</code><code>,&nbsp;'</code> &nbsp; <code>主演：让·雷诺,加里·奥德曼,娜塔莉·波特曼</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1994-09-14(法国)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>5'),&nbsp;</code> <code>(</code><code>'4'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/23/6009725.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'罗马假日'</code><code>,&nbsp;'</code> &nbsp; <code>主演：格利高利·派克,奥黛丽·赫本,埃迪·艾伯特</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1953-09-02(美国)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>1'),&nbsp;</code> <code>(</code><code>'5'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/53/1541925.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'阿甘正传'</code><code>,&nbsp;'</code> &nbsp; <code>主演：汤姆·汉克斯,罗宾·怀特,加里·西尼斯</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1994-07-06(美国)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>4'),&nbsp;</code> <code>(</code><code>'6'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/11/324629.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'泰坦尼克号'</code><code>,&nbsp;'</code> &nbsp; <code>主演：莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1998-04-03</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>5'),&nbsp;</code> <code>(</code><code>'7'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/99/678407.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'龙猫'</code><code>,&nbsp;'</code> &nbsp; <code>主演：日高法子,坂本千夏,糸井重里</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1988-04-16(日本)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>2'),&nbsp;</code> <code>(</code><code>'8'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/92/8212889.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'教父'</code><code>,&nbsp;'</code> &nbsp; <code>主演：马龙·白兰度,阿尔·帕西诺,詹姆斯·凯恩</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1972-03-24(美国)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>3'),&nbsp;</code> <code>(</code><code>'9'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/62/109878.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'唐伯虎点秋香'</code><code>,&nbsp;'</code> &nbsp; <code>主演：周星驰,巩俐,郑佩佩</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：1993-07-01(中国香港)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>2'),&nbsp;</code> <code>(</code><code>'10'</code><code>,&nbsp;</code><code>'http://p0.meituan.net/movie/9bf7d7b81001a9cf8adbac5a7cf7d766132425.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'千与千寻'</code><code>,&nbsp;'</code> &nbsp; <code>主演：柊瑠美,入野自由,夏木真理</code> &nbsp; <code>',&nbsp;'</code><code>上映时间：2001-07-20(日本)</code><code>',&nbsp;'</code><code>9.</code><code>',&nbsp;'</code><code>3')]</code> </td> 
 </tr> 
 </tbody> 
</table>

但这样还不够，数据比较杂乱，我们再将匹配结果处理一下，遍历提取结果并生成字典，此时方法改写如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 </td> 
 <td> <code>def&nbsp;parse_one_page(html):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pattern&nbsp;=&nbsp;re.compile(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'&lt;dd&gt;.*?board-index.*?&gt;(.*?)&lt;/i&gt;.*?data-src=</code><code>"(.*?)"</code><code>.*?name.*?a.*?&gt;(.*?)&lt;/a&gt;.*?star.*?&gt;(.*?)&lt;/p&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>.*?releasetime.*?&gt;(.*?)&lt;/p&gt;.*?integer.*?&gt;(.*?)&lt;/i&gt;.*?fraction.*?&gt;(.*?)&lt;/i&gt;.*?&lt;/dd&gt;',re.S)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>items&nbsp;=&nbsp;re.findall(pattern,&nbsp;html)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>item&nbsp;in&nbsp;items:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>yield</code>&nbsp;<code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'index'</code><code>:&nbsp;item[0],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'image'</code><code>:&nbsp;item[1],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'title'</code><code>:&nbsp;item[2].strip(),</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'actor'</code><code>:&nbsp;item[3].strip()[3:]&nbsp;</code><code>if</code>&nbsp;<code>len(item[3])&nbsp;&gt;&nbsp;3&nbsp;</code><code>else</code>&nbsp;<code>''</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'time'</code><code>:&nbsp;item[4].strip()[5:]&nbsp;</code><code>if</code>&nbsp;<code>len(item[4])&nbsp;&gt;&nbsp;5&nbsp;</code><code>else</code>&nbsp;<code>''</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'score'</code><code>:&nbsp;item[5].strip()&nbsp;+&nbsp;item[6].strip()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

这样就可以成功提取出电影的排名、图片、标题、演员、时间、评分等内容了，并把它赋值为一个个的字典，形成结构化数据。运行结果如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 </td> 
 <td> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'张国荣,张丰毅,巩俐'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.6'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'1'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'霸王别姬'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'1993-01-01(中国香港)'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/__40191813__4767047.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.5'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'2'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code> <code>'肖申克的救赎'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'1994-10-14(美国)'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/fc9d78dd2ce84d20e53b6d1ae2eea4fb1515304.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'让·雷诺,加里·奥德曼,娜塔莉·波特曼'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.5'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'3'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'这个杀手不太冷'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code> <code>'1994-09-14(法国)'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/23/6009725.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'格利高利·派克,奥黛丽·赫本,埃迪·艾伯特'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.1'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'4'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'罗马假日'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code> <code>'1953-09-02(美国)'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/53/1541925.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'汤姆·汉克斯,罗宾·怀特,加里·西尼斯'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.4'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'5'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'阿甘正传'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code> <code>'1994-07-06(美国)'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/11/324629.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.5'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'6'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'泰坦尼克号'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code> <code>'1998-04-03'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/99/678407.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'日高法子,坂本千夏,糸井重里'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.2'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'7'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'龙猫'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'1988-04-16(日本)'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/92/8212889.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'马龙·白兰度,阿尔·帕西诺,詹姆斯·凯恩'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.3'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'8'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'教父'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'1972-03-24(美国)'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/62/109878.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code> <code>'周星驰,巩俐,郑佩佩'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.2'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'9'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'唐伯虎点秋香'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'1993-07-01(中国香港)'</code><code>}</code> <code>{ </code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/9bf7d7b81001a9cf8adbac5a7cf7d766132425.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code> <code>'actor'</code><code>:&nbsp;</code><code>'柊瑠美,入野自由,夏木真理'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.3'</code><code>,&nbsp;</code><code>'index'</code><code>:&nbsp;</code><code>'10'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'千与千寻'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'2001-07-20(日本)'</code><code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

到此为止，我们就成功提取了单页的电影信息。

**6. 写入文件**

随后，我们将提取的结果写入文件，这里直接写入到一个文本文件中。这里通过JSON库的dumps()方法实现字典的序列化，并指定ensure\_ascii参数为False，这样可以保证输出结果是中文形式而不是Unicode编码。代码如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>def&nbsp;write_to_json(content):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>with&nbsp;open(</code><code>'result.txt'</code><code>,&nbsp;</code><code>'a'</code><code>)&nbsp;</code><code>as</code>&nbsp;<code>f:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(type(json.dumps(content)))</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>f.write(json.dumps(content,&nbsp;ensure_ascii=False,).encode(</code><code>'utf-8'</code><code>))</code> </td> 
 </tr> 
 </tbody> 
</table>

通过调用write\_to\_json()方法即可实现将字典写入到文本文件的过程，此处的content参数就是一部电影的提取结果，是一个字典。

**7. 整合代码**

最后，实现main()方法来调用前面实现的方法，将单页的电影结果写入到文件。相关代码如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 </td> 
 <td> <code>def&nbsp;main():</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;=&nbsp;</code><code>'http://maoyan.com/board/4'</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html&nbsp;=&nbsp;get_one_page(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>item&nbsp;in&nbsp;parse_one_page(html):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>write_to_json(item)</code> </td> 
 </tr> 
 </tbody> 
</table>

到此为止，我们就完成了单页电影的提取，也就是首页的10部电影可以成功提取并保存到文本文件中了。

**8. 分页爬取**

因为我们需要抓取的是TOP100的电影，所以还需要遍历一下，给这个链接传入offset参数，实现其他90部电影的爬取，此时添加如下调用即可：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>if</code>&nbsp;<code>__name__&nbsp;==&nbsp;</code><code>'__main__'</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>i&nbsp;in&nbsp;range(10):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>main(offset=i&nbsp;*&nbsp;10)</code> </td> 
 </tr> 
 </tbody> 
</table>

这里还需要将main()方法修改一下，接收一个offset值作为偏移量，然后构造URL进行爬取。实现代码如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>def&nbsp;main(offset):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;=&nbsp;</code><code>'http://maoyan.com/board/4?offset='</code>&nbsp;<code>+&nbsp;str(offset)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html&nbsp;=&nbsp;get_one_page(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>item&nbsp;in&nbsp;parse_one_page(html):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(item)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>write_to_file(item)</code> </td> 
 </tr> 
 </tbody> 
</table>

到此为止，我们的猫眼电影TOP100的爬虫就全部完成了，再稍微整理一下，完整的代码如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 </td> 
 <td> <code>import&nbsp;json</code> <code>import&nbsp;requests</code> <code>from&nbsp;requests.exceptions&nbsp;import&nbsp;RequestException</code> <code>import&nbsp;re</code> <code>import&nbsp;time</code> <code>def&nbsp;get_one_page(url):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>response&nbsp;=&nbsp;requests.get(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>response.status_code&nbsp;==&nbsp;200:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>response.text</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>None</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>except&nbsp;RequestException:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>None</code> <code>def&nbsp;parse_one_page(html):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pattern&nbsp;=&nbsp;re.compile(</code><code>'&lt;dd&gt;.*?board-index.*?&gt;(d+)&lt;/i&gt;.*?data-src="(.*?)".*?name"&gt;&lt;a'</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>+&nbsp;</code><code>'.*?&gt;(.*?)&lt;/a&gt;.*?star"&gt;(.*?)&lt;/p&gt;.*?releasetime"&gt;(.*?)&lt;/p&gt;'</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>+&nbsp;</code><code>'.*?integer"&gt;(.*?)&lt;/i&gt;.*?fraction"&gt;(.*?)&lt;/i&gt;.*?&lt;/dd&gt;'</code><code>,&nbsp;re.S)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>items&nbsp;=&nbsp;re.findall(pattern,&nbsp;html)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>item&nbsp;in&nbsp;items:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>yield</code>&nbsp;<code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'index'</code><code>:&nbsp;item[0],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'image'</code><code>:&nbsp;item[1],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'title'</code><code>:&nbsp;item[2],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'actor'</code><code>:&nbsp;item[3].strip()[3:],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'time'</code><code>:&nbsp;item[4].strip()[5:],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'score'</code><code>:&nbsp;item[5]&nbsp;+&nbsp;item[6]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>def&nbsp;write_to_file(content):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>with&nbsp;open(</code><code>'result.txt'</code><code>,&nbsp;</code><code>'a'</code><code>,&nbsp;encoding=</code><code>'utf-8'</code><code>)&nbsp;</code><code>as</code>&nbsp;<code>f:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>f.write(json.dumps(content,&nbsp;ensure_ascii=False)&nbsp;+&nbsp;'</code> <code>')</code> <code>def&nbsp;main(offset):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;=&nbsp;</code><code>'http://maoyan.com/board/4?offset='</code>&nbsp;<code>+&nbsp;str(offset)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html&nbsp;=&nbsp;get_one_page(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>item&nbsp;in&nbsp;parse_one_page(html):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(item)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>write_to_file(item)</code> <code>if</code>&nbsp;<code>__name__&nbsp;==&nbsp;</code><code>'__main__'</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>i&nbsp;in&nbsp;range(10):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>main(offset=i&nbsp;*&nbsp;10)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>time.sleep(1)</code> </td> 
 </tr> 
 </tbody> 
</table>

现在猫眼多了反爬虫，如果速度过快，则会无响应，所以这里又增加了一个延时等待。

**9. 运行结果**

最后，我们运行一下代码，输出结果类似如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 </td> 
 <td> <code>{ </code><code>'index'</code><code>:&nbsp;</code><code>'1'</code><code>,&nbsp;</code><code>'image'</code><code>:&nbsp;</code><code>'http://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code> <code>'title'</code><code>:&nbsp;</code><code>'霸王别姬'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code><code>'张国荣,张丰毅,巩俐'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'1993-01-01(中国香港)'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.6'</code><code>}</code> <code>{ </code><code>'index'</code><code>:&nbsp;</code><code>'2'</code><code>,&nbsp;</code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/__40191813__4767047.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code> <code>'肖申克的救赎'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code><code>'蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'1994-10-14(美国)'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.5'</code><code>}</code> <code>...</code> <code>{ </code><code>'index'</code><code>:&nbsp;</code><code>'98'</code><code>,&nbsp;</code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/76/7073389.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'东京物语'</code><code>,&nbsp;</code> <code>'actor'</code><code>:&nbsp;</code><code>'笠智众,原节子,杉村春子'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'1953-11-03(日本)'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.1'</code><code>}</code> <code>{ </code><code>'index'</code><code>:&nbsp;</code><code>'99'</code><code>,&nbsp;</code><code>'image'</code><code>:&nbsp;</code><code>'http://p0.meituan.net/movie/52/3420293.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code><code>'我爱你'</code><code>,&nbsp;</code> <code>'actor'</code><code>:&nbsp;</code><code>'宋在河,李彩恩,吉海延'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'2011-02-17(韩国)'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.0'</code><code>}</code> <code>{ </code><code>'index'</code><code>:&nbsp;</code><code>'100'</code><code>,&nbsp;</code><code>'image'</code><code>:&nbsp;</code><code>'http://p1.meituan.net/movie/__44335138__8470779.jpg@160w_220h_1e_1c'</code><code>,&nbsp;</code><code>'title'</code><code>:&nbsp;</code> <code>'迁徙的鸟'</code><code>,&nbsp;</code><code>'actor'</code><code>:&nbsp;</code><code>'雅克·贝汉,菲利普·拉波洛,Philippe&nbsp;Labro'</code><code>,&nbsp;</code><code>'time'</code><code>:&nbsp;</code><code>'2001-12-12(法国)'</code><code>,&nbsp;</code><code>'score'</code><code>:&nbsp;</code><code>'9.1'</code><code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

这里省略了中间的部分输出结果。可以看到，这样就成功地把TOP100的电影信息爬取下来了。

这时我们再看下文本文件，结果如图3-15所示。

![4c70c2f60cd0bb44802eb3fe4baabc3.png][]

可以看到，电影信息也已全部保存到了文本文件中了，大功告成！

**10. 本节代码**

本节的代码地址为https://github.com/Python3WebSpider/MaoYan。

**最后注意：**光理论是不够的。这里顺便免费送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

*本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。*

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzVkZDY1ZDkxNzE5YzAyOTkuanBn?x-oss-process=image/format,png
[f7b78e2d92d43eea8459f7ccd466c16.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQzMjg0NjYyMDg2OTAucG5n?x-oss-process=image/format,png
[6b9997eb13b6015bec7cef904fc6e75.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQzMjg1MTk2NTczMjMucG5n?x-oss-process=image/format,png
[d2c73975ba9bfcef6880106c60439fa.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQzMjg2NzA3MDQxNTUucG5n?x-oss-process=image/format,png
[a397f4a9c48111c0673fcaab08384e9.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQzMjg3MDEzMDcwMDAucG5n?x-oss-process=image/format,png
[4c70c2f60cd0bb44802eb3fe4baabc3.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQzMjkzNzYyNDI3OTgucG5n?x-oss-process=image/format,png