Python爬取食品商务网，获取各类食品价格以及涨跌趋势

绝地灬酷狼 2022-12-07 15:19 152阅读 0赞

## 前言 ##

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

[python免费学习资料以及群交流解答点击即可加入][python]

--------------------

## 开发工具 ##

*  python 3.6.5
 *  pycharm

import requests
    import parsel
    import csv
    import time

相关模块可pip安装

## 爬虫基本流程 ##

1.确定url地址(网页分析) 完成一半

2.发送网络请求 requests(js\\html\\css)

3.数据解析(筛选数据)

4.保存数据(本地文件\\数据库)

## 1、确定url地址 ##

https://price.21food.cn/guoshu-p1.html

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]

## 2、发送网络请求 ##

import requests
    url = 'https://price.21food.cn/guoshu-p1.html'
    response = requests.get(url, headers=headers)
    # print(response.text)

## 3、数据解析(筛选数据) ##

使用parsel模块的CSS选择器解析网页数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]

import parsel
    lis = selector.css('.gs_top_t2_left div:nth-child(1) .sjs_top_cent_erv ul li')
    dit = { }
    for li in lis:
        name = li.css('a::text').get()
        dit['品种'] = name
        price = li.css('td span::text').get()
        dit['平均价格'] = price
        qushi = li.css('td .sc_up::text').get()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]

## 4、保存数据 ##

import csv
    f = open('data.csv', mode='a', encoding='utf-8', newline='') # 打开文件
    csv_write = csv.DictWriter(f, fieldnames=['品种', '平均价格', '趋势']) # 制定表头
    csv_write.writeheader() # 写入表头
    csv_write.writerow(dit) # 写入数据
    f.close()  # 关闭文件

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]

[python]: https://jq.qq.com/?_wv=1027&k=ThcV4SNF
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/0261c3a8abdb46de98a72d4d7197c6b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/6758828347344a138ae384506cde14b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/58556f764f424066b064776b2526c73b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/0c00a16b4194466f95c993a49e196cd9.png