抓取北京影讯的电影信息

缺乏、安全感 2022-06-07 02:54 258阅读 0赞

\# -\*- coding: utf-8 -\*-

import urllib2

import os

import re

def mean\_audience\_score(FilmId):

arv = 0.0

sc\_url = "http://movie.mtime.com/" + FilmId + "/"

sc\_req = urllib2.Request(sc\_url, headers=\{'User-Agent': "Magic Browser"\})

sc\_page = urllib2.urlopen(sc\_req)

sc\_strw = sc\_page.read() \# 读入 网站源码

sc\_str = re. findall(r'<span class="db\_point ml6">+\\d+\\.+\\d+</span>', sc\_strw) \# 匹配评分的数字

if len(sc\_str) == 0:

return arv

for tt in sc\_str:

scsc = re.findall(r'\\d+\\.+\\d', tt) \# 取出每个人对电影的评分，取出观众的评分

arv = arv + float(scsc\[0\]) \# 所有观众对电影的评分总和

return arv / len(sc\_str)

\#------------------------------------------------------------------------------------------------------------------------------------------------------------

url = 'http://theater.mtime.com/China\_Beijing/' \# 1.需抓取的网址

req = urllib2.Request(url, headers=\{

'User-Agent': "Magic Browser"\}) \# 2.urllib2.Request(url\[, data\]\[, headers\]\[, origin\_req\_host\]\[, unverifiable\])

webpage = urllib2.urlopen(req) \# urllib2.urlopen(url\[, data\]\[, timeout\])

strw = webpage.read()

tg\_start = strw. find('hotplaySvList = \[') \# str.find(str, beg=0, end=len(string))

if tg\_start == -1:

print 'not find start tag'

os.exit()

tmp = strw\[tg\_start:-1\]

tg\_end = tmp.find(';')

if tg\_end == -1:

print 'not find end tag'

os.exit()

tmp = tmp\[len(' hotplaySvList = \['):tg\_end\]

tar\_ls = tmp.split("\},\{") \# str.split(str="", num=string.count(str)) \# 3. 用\},\{切分字符串

dict\_film = \{\} \# 定义字典

for t0 in tar\_ls:

ls\_t = t0.split(',')

id = ls\_t\[0\].split(':')\[-1\].strip() \#

film = ls\_t\[-1\]. split('"')\[-2\].strip() \#

dict\_film\[id\] = film \#

for t in dict\_film:

print "id: " + t + " film: ", dict\_film\[t\]

print 'ok total : ' + \`len(dict\_film)\`

for t in dict\_film:

score = mean\_audience\_score(t)

print "id: " + t + " film: " + dict\_film\[t\] + " score: " + \`score\`

![电影数据分析样题.docx][.docx]

[.docx]: http://note.youdao.com/yws/res/119/C80791A6441C44D490F97A3DDC09ABE8

发表评论取消回复

表情：

评论列表（有 0 条评论，258人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫之Ajax动态加载数据抓取--豆瓣电影/腾讯招聘

动态加载数据抓取-Ajax 特点 1、右键 -> 查看网页源码中没有具体数据 2、滚动鼠标滑轮或其他动作时加载抓取 1、F12

淡淡的烟草味﹌/ 2023年06月22日 08:28/ 0 赞/ 248 阅读

相关 Python猫眼电影最近上映的电影票房信息

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接

小灰灰/ 2022年12月08日 04:23/ 0 赞/ 188 阅读

相关【转贴】《阿凡达》观影记 72小时北京惊魂

最开始看完这篇帖子觉得楼主有点傻气，后来更多的是敬佩。其实我也是去电影博物馆排了三个周末才买到票，不过楼主比我更执着更坚韧更锲而不舍，暗暗赞一个

谁借莪１个温暖的怀抱￠/ 2022年07月14日 01:22/ 0 赞/ 174 阅读

相关抓取北京影讯的电影信息

\ -\- coding: utf-8 -\- import urllib2 import os import re def mean\_audie

缺乏、安全感/ 2022年06月07日 02:54/ 0 赞/ 259 阅读

相关 python抓取猫眼电影top100

这里主要运用到了正则表达式进行抓取； import json from multiprocessing import Pool import requ

待我称王封你为后i/ 2022年06月06日 03:46/ 0 赞/ 260 阅读

相关 Node.js 抓取电影天堂新上电影节目单及ftp链接

> 代码地址如下： > [http://www.demodashi.com/demo/12368.html][http_www.demodashi.com_demo_123

水深无声/ 2022年05月28日 14:05/ 0 赞/ 166 阅读

相关抓取猫眼电影排行前一百

代码主要是大神写的：[https://cuiqingcai.com/5534.html][https_cuiqingcai.com_5534.html] 需要看具体细节的去该

淡淡的烟草味﹌/ 2022年05月18日 07:37/ 0 赞/ 202 阅读

相关实战项目一、安居客(北京) 二手房抓取房源信息

一、首先明确爬取的数据为安居客（北京）的二手房源的数据信息，主要有房源链接地址，房源价格，房源单价，房源规模，房源大小，房源建造年份，房源地址。 [https://beiji

本是古典何须时尚/ 2022年03月07日 11:42/ 0 赞/ 242 阅读

相关豆瓣电影信息采集

豆瓣电影信息采集 1.思路先能爬一篇电影的信息，之后能爬排行榜url列表，之后在列表里循环一篇信息的爬取程序就大功告成 2.爬一篇信息的过程技术pytho

谁践踏了优雅/ 2022年02月27日 14:08/ 0 赞/ 435 阅读

相关抓取猫眼电影排行

抓取首页首先我们定义一个get\_one\_page方法，来获取首页（http://maoyan.com/board/4 ）的源代码。获取源代码之后，解析页面，提取出我

柔情只为你懂/ 2022年02月14日 04:11/ 0 赞/ 273 阅读