【爬取豆瓣前 250 部电影】Python 爬虫和数据可视化（上篇）

骑猪看日落 2023-01-01 14:51 175阅读 0赞

### 文章目录 ###

*   *  一、学习内容
     *  二、任务介绍
     *  三、爬虫知识
     *  四、基本流程
     *  五、准备工作
     *   *  5.1 获取数据
         *  5.2 解析数据
         *  5.3 保存数据

## 一、学习内容 ##

1.  Python 语言的基础知识
2.  网络爬虫的技术实现
3.  数据可视化的技术应用(框架，组件)

本篇是 Python 爬虫博客总结第一章，这个系列的博客主要是总结**网络爬虫的数据可视化技术原理与流程**

> 提示：关于第一点 Python 语言的基础知识 我总结在 Python 基础专栏里面，所以这个专栏主要是总结学习内容的第二点和第三点

## 二、任务介绍 ##

我们要爬取豆瓣电影Top250 的基本信息，包括电影的名称，豆瓣评分，评价数，电影概况，电影链接等

这个就是我们要爬取的网站 [https://movie.douban.com/top250][https_movie.douban.com_top250]

## 三、爬虫知识 ##

网络爬虫是一种按照一定规则，自动抓取互联网信息的程序或者脚本，由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析已成为如今主流的爬取策路

爬虫可以做什么？

*  爬取妹子的图片
 *  爬取想看的视频
 *  …

爬虫的本质是什么？ **模拟浏览器打开网页，获取网页中我们想要的那部分数据**

## 四、基本流程 ##

*  准备工作
 *  获取数据
 *  解析内容
 *  保存数据

## 五、准备工作 ##

> 一、配置 Python 环境，这个项目是基于3.7

我们要知道 Python 3 和 Python 2 其实是大不相同的，不会向下兼容，所以环境一定要配置好  
![在这里插入图片描述][20210105125647294.png]

配置环境可以自行网上搜索配置

只要在 cmd 中输入 Python ，出现Python信息就配置成功了

> 二、下载 Python 编辑器，这里使用 PyCharm

略…

> 三、导入所需要的包

from bs4 import BeautifulSoup       # 网页解析，获取数据
    import re                           # 正则表达式，文字匹配
    import urllib.request,urllib.error  # 指定url获取网页数据的
    import xlwt                         # Excel表格的操作
    import sqlite3                      # 数据库的操作

Pycharm 中的操作为

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNzYzMzQ0_size_16_color_FFFFFF_t_70]

### 5.1 获取数据 ###

大致流程

1.  封装头部，目的是伪装成浏览器，防止反爬虫机制
2.  调用 urllib.库中的Request请求
3.  调用 urllib.库中的 urlopen去获取数据
4.  使用read 和 decode 对获取数据进行解码
5.  为了保险起见，需要处理可能存在的异常

# 得到一个指定 url 的网页内容
    def askURL(url):
        # 模拟浏览器头部信息
        head = { 
            # 用户代理，告诉浏览器我们可以接受什么水平的内容
            "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 65.0.3325.181Safari / 537.36"
        }
        request = urllib.request.Request(url,headers=head)
        html = ""
        try:
            response = urllib.request.urlopen(request)
            html = response.read().decode("utf-8")
            # print(html)
        except urllib.error.URLError as e:
            if hasattr(e,"code"): # 错误信息是啥
                print(e.code)
            if hasattr(e,"reason"): #错误原因是啥
                print(e.reason)
        return html

### 5.2 解析数据 ###

这一步骤其实是Python 爬虫中的最难的过程，因为需要对网页数据进行分析

打开豆瓣网址，进入调试模式 F12

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNzYzMzQ0_size_16_color_FFFFFF_t_70 1] 
可以发现电影的标题格式是 (.\*?)

至于 .\*? 这个符号是正则表达式，主要是为了匹配字符的

其它的我们需要爬取的字段也是一样的，比如电影链接，电影评分，电影主角导演这些，都是类似的

分析完之后，我们就可以写代码了

#创建正则表达式对象,表示字符串模式/规则
 findLink = re.compile(r'<a href="(.*?)">') # 影片链接规则
 findImgSrc = re.compile(r'<img.* src="(.*?)"',re.S) #图片链接规则,re.S 表示匹配换行符
 findTitle = re.compile(r'(.*)') #影片片名
 findRating = re.compile(r'(.*)') #影片评分
 findJudge = re.compile(r'(\d*)人评价') #评价人数
 findInq = re.compile(r'(.*)') #概况
 findBd = re.compile(r'(.*?)',re.S) #相关内容，导演，演员
 
 # 爬取网页
 def getData(baseurl):
 datalist = []
 for i in range(0,10) :
 url = baseurl + str(i*25)
 html = askURL(url) # 保存获取到的网页源码
 #对网页进行逐一解析数据
 soup = BeautifulSoup(html,"html.parser") # 对网页解析形成 soup对象
 for item in soup.find_all('div',class_="item"): #查找符号要求的字符串，形成列表
 # print(item) 查看 item 电影全部信息
 data = [] #数据信息
 item = str(item)
 #re库用来查找指定字符串
 link = re.findall(findLink,item)[0]
 data.append(link)
 imgSrc = re.findall(findImgSrc,item)[0]
 data.append(imgSrc)
 titles = re.findall(findTitle,item) #片名可能只有一个中文名，不要去[0]
 if (len(titles)) == 2:
 ctitle = titles[0]
 data.append(ctitle)
 otitle = titles[1].replace("/","")
 data.append(otitle)
 else:
 data.append(titles[0])
 data.append(' ') #留一个空
 
 rating = re.findall(findRating,item)[0]
 data.append(rating)
 
 judgeNum = re.findall(findJudge,item)[0]
 data.append(judgeNum)
 
 inq = re.findall(findInq,item) #概述可能不存在
 if len(inq) != 0:
 inq = inq[0].replace("。","") #去掉句号
 data.append(inq)
 else:
 data.append(" ")
 
 bd = re.findall(findBd,item)[0]
 bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd) #去掉 
 bd = re.sub('/'," ",bd) #去掉 /
 data.append(bd.strip()) #去掉前后空格
 datalist.append(data) #把处理好的一部电影信息放入datalist
 return datalist

最主要其实是理解正则表达式的应用，逻辑方面其实比较简单，就是通过调用 askurl 来获取数据，然后利用循环，把她保存在 datalist 这个二维列表中

### 5.3 保存数据 ###

我们保存在内存后，可以直接打印，但是更好玩的地方在于，Python 也有 Excel 的库，直接对 Excel 表格进行操作

> 保存数据到 Excel 表格中

# 保存数据到 Excel 表
    def saveData(dataList,savepath):
        print("save....")
        book = xlwt.Workbook(encoding="utf-8",style_compression=1) #创建 book 对象
        sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True) #创建工作表
    
        col = ("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价数","概况","相关信息")
        for i in range(0,8):
            sheet.write(0,i,col[i]) #写完列名
        for i in range(0,250):
            print("-----第%d条-------"%(i+1))
            data = dataList[i]
            for j in range(0,8):
                sheet.write(i+1,j,data[j])
        book.save(savepath) #保存数据

示例如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNzYzMzQ0_size_16_color_FFFFFF_t_70 2]

> 把数据保存在数据库中

# 保存数据到数据库
    def saveDate2DB(datalist,dbpath):
        init_db(dbpath)
        conn = sqlite3.connect(dbpath)
        cur = conn.cursor()
    
        for data in datalist:
            for index in range(len(data)):
                if index == 4 or index == 5:
                    continue
                data[index] = '"' + data[index]+'"'
            sql = ''' insert into movie250( info_link,pic_link,cname,ename,score,rated,introduction,info) values(%s)'''%",".join(data)
            print(sql)
            cur.execute(sql)
            conn.commit()
        cur.close()
        conn.close()
    
    def init_db(dbpath):
        #创建数据表
        sql = ''' create table movie250 ( id integer primary key autoincrement, info_link text, pic_link text, cname varchar, ename varchar, score numeric, rated numeric, introduction text, info text ) '''
        conn = sqlite3.connect(dbpath)
        cursor = conn.cursor() #创建游标
        cursor.execute(sql) #执行
        conn.commit() #提交
        conn.close()

然后我们也可以去验证一下

由于我这个版本的 idea 中没有 databases， 所以我下载了一个插件，类似于 database ，也可以去访问

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNzYzMzQ0_size_16_color_FFFFFF_t_70 3]  
可以看到，确实进入了数据库(我选择的是 SQLite 数据库)因为我们前面导入的是 SQLite 的包，如果使用其它数据库就要导入其他数据库的包

完整代码

#-*- coding: UTF-8 -*-
 
 from bs4 import BeautifulSoup # 网页解析，获取数据
 import re # 正则表达式，文字匹配
 import urllib.request,urllib.error # 指定url获取网页数据的
 import xlwt # Excel表格的操作
 import sqlite3 # 数据库的操作
 
 
 def main():
 baseurl = "https://movie.douban.com/top250?start="
 #1.爬取网页
 datalist = getData(baseurl)
 
 #2.保存数据到 Excel 表
 savepath = ".\\豆瓣电影Top250.xls"
 saveData(datalist,savepath)
 
 #3.保存在数据库中
 dbpath = "movie.db"
 saveDate2DB(datalist,dbpath)
 
 
 #创建正则表达式对象,表示字符串模式/规则
 findLink = re.compile(r'<a href="(.*?)">') # 影片链接规则
 findImgSrc = re.compile(r'<img.* src="(.*?)"',re.S) #图片链接规则,re.S 表示匹配换行符
 findTitle = re.compile(r'(.*)') #影片片名
 findRating = re.compile(r'(.*)') #影片评分
 findJudge = re.compile(r'(\d*)人评价') #评价人数
 findInq = re.compile(r'(.*)') #概况
 findBd = re.compile(r'(.*?)',re.S) #相关内容，导演，演员
 
 # 爬取网页
 def getData(baseurl):
 datalist = []
 for i in range(0,10) :
 url = baseurl + str(i*25)
 html = askURL(url) # 保存获取到的网页源码
 #对网页进行逐一解析数据
 soup = BeautifulSoup(html,"html.parser") # 对网页解析形成 soup对象
 for item in soup.find_all('div',class_="item"): #查找符号要求的字符串，形成列表
 # print(item) 查看 item 电影全部信息
 data = [] #数据信息
 item = str(item)
 #re库用来查找指定字符串
 link = re.findall(findLink,item)[0]
 data.append(link)
 imgSrc = re.findall(findImgSrc,item)[0]
 data.append(imgSrc)
 titles = re.findall(findTitle,item) #片名可能只有一个中文名，不要去[0]
 if (len(titles)) == 2:
 ctitle = titles[0]
 data.append(ctitle)
 otitle = titles[1].replace("/","")
 data.append(otitle)
 else:
 data.append(titles[0])
 data.append(' ') #留一个空
 
 rating = re.findall(findRating,item)[0]
 data.append(rating)
 
 judgeNum = re.findall(findJudge,item)[0]
 data.append(judgeNum)
 
 inq = re.findall(findInq,item) #概述可能不存在
 if len(inq) != 0:
 inq = inq[0].replace("。","") #去掉句号
 data.append(inq)
 else:
 data.append(" ")
 
 bd = re.findall(findBd,item)[0]
 bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd) #去掉 
 bd = re.sub('/'," ",bd) #去掉 /
 data.append(bd.strip()) #去掉前后空格
 datalist.append(data) #把处理好的一部电影信息放入datalist
 return datalist
 
 # 得到一个指定 url 的网页内容
 def askURL(url):
 # 模拟浏览器头部信息
 head = { 
 # 用户代理，告诉浏览器我们可以接受什么水平的内容
 "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 65.0.3325.181Safari / 537.36"
 }
 request = urllib.request.Request(url,headers=head)
 html = ""
 try:
 response = urllib.request.urlopen(request)
 html = response.read().decode("utf-8")
 # print(html)
 except urllib.error.URLError as e:
 if hasattr(e,"code"): # 错误信息是啥
 print(e.code)
 if hasattr(e,"reason"): #错误原因是啥
 print(e.reason)
 return html
 
 # 保存数据到 Excel 表
 def saveData(dataList,savepath):
 print("save....")
 book = xlwt.Workbook(encoding="utf-8",style_compression=1) #创建 book 对象
 sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True) #创建工作表
 
 col = ("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价数","概况","相关信息")
 for i in range(0,8):
 sheet.write(0,i,col[i]) #写完列名
 for i in range(0,250):
 print("-----第%d条-------"%(i+1))
 data = dataList[i]
 for j in range(0,8):
 sheet.write(i+1,j,data[j])
 book.save(savepath) #保存数据
 
 # 保存数据到数据库
 def saveDate2DB(datalist,dbpath):
 init_db(dbpath)
 conn = sqlite3.connect(dbpath)
 cur = conn.cursor()
 
 for data in datalist:
 for index in range(len(data)):
 if index == 4 or index == 5:
 continue
 data[index] = '"' + data[index]+'"'
 sql = ''' insert into movie250( info_link,pic_link,cname,ename,score,rated,introduction,info) values(%s)'''%",".join(data)
 print(sql)
 cur.execute(sql)
 conn.commit()
 cur.close()
 conn.close()
 
 def init_db(dbpath):
 #创建数据表
 sql = ''' create table movie250 ( id integer primary key autoincrement, info_link text, pic_link text, cname varchar, ename varchar, score numeric, rated numeric, introduction text, info text ) '''
 conn = sqlite3.connect(dbpath)
 cursor = conn.cursor() #创建游标
 cursor.execute(sql) #执行
 conn.commit() #提交
 conn.close()
 
 if __name__ == "__main__":
 main()
 print("爬取完毕")

这篇博客仅仅完成了爬取数据和保存，文章下篇总结数据的可视化，目的是为了用户更加方便，更加直接的看数据

[https_movie.douban.com_top250]: https://movie.douban.com/top250
[20210105125647294.png]: /images/20221120/c58d2f97ca8d4a208d0e783afe5e5ff6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNzYzMzQ0_size_16_color_FFFFFF_t_70]: /images/20221120/04d170a18a964e7aad17e04a39d7f1c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNzYzMzQ0_size_16_color_FFFFFF_t_70 1]: /images/20221120/caa792b8c01e4200bb22e53e0b348d12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNzYzMzQ0_size_16_color_FFFFFF_t_70 2]: /images/20221120/1aa7b67854a140f58f8f1a39a16f7a12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNzYzMzQ0_size_16_color_FFFFFF_t_70 3]: /images/20221120/fb1999a1324a4622a3c2a3669c592f1b.png