【Python爬虫】存储格式化数据

Love The Way You Lie 2023-02-26 09:23 18阅读 0赞

我们一直使用 print 方法打印爬虫获取的数据，接下来你将把这些数据保存到特定格式文件中。

### **CSV 格式** ###

Python 提供了标准库 csv 来读写 csv 数据。

新建一个 Python 文件，输入以下代码，并运行。

import csv
    
    file = open('movies.csv', 'w', newline='')
    csvwriter = csv.writer(file)
    
    # 写入标题行
    csvwriter.writerow(['名称', '年份'])
    # 写入数据
    csvwriter.writerow(['A', '1992'])
    csvwriter.writerow(['B', '1998'])
    csvwriter.writerow(['C', '2010'])
    file.close

使用记事本打开 movies.csv 文件，将运行结果复制到下面的文本框中：

CSV 格式

通常用来存储简单的数据，表格类型数据首选

JSON 格式

通常用来存储 「键-值」 数据，一般情况下的选择

XML 格式

存储非常复杂的数据格式，大多数情况下用不到

CSV 数据可以使用微软 Office Excel 软件打开。非常多的爬虫数据集都使用 CSV 作为存储格式。

### **将爬虫数据写入 CSV 文件** ###

**至此，你已经基本掌握了编写一个简单爬虫的技能，是不是很简单呢？**

from requests_html import HTMLSession
    import csv
    
    session = HTMLSession()
    
    file = open('movies.csv', 'w', newline='')
    csvwriter = csv.writer(file)
    csvwriter.writerow(['名称', '年份'])
    
    links = ['https://movie.douban.com/subject/1292052/', 'https://movie.douban.com/subject/26752088/', 'https://movie.douban.com/subject/1962665/']
    
    for link in links:
        r = session.get(link)
        title = r.html.find('#content > h1 > span:nth-child(1)', first=True)
        year = r.html.find('#content > h1 > span.year', first=True)
        csvwriter.writerow(title.text, year.text)
    
    file.close()

**上面代码有一处错误，你发现了吗？**

运行结果：

**![format_png][]**

[format_png]: /images/20230209/b04e63dba2f24837bbf03d0281e28c6c.png