chatgpt帮你写爬虫程序

朱雀 2023-09-25 19:59 86阅读 0赞

## 场景： ##

chatgpt帮你写爬虫程序，轻松获取工作需要的数据

--------------------

## 方法 ##

安装python环境

![在这里插入图片描述][c01cb053a33241d2a1194f688a7e99e7.png]

![在这里插入图片描述][7f7ea6939de24e41a3d98d71e639de6b.png]

import requests
    from bs4 import BeautifulSoup
    import pandas as pd
    
    # 设置请求头部，模拟浏览器访问
    headers = {
        
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    
    # 豆瓣电影排行榜URL
    url = 'https://movie.douban.com/chart'
    
    # 发送GET请求
    response = requests.get(url, headers=headers)
    
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 获取电影列表
    movie_list = soup.find('div', class_='article').find_all('div', class_='pl2')
    
    # 创建空列表，用于保存电影信息
    movies = []
    
    # 循环遍历电影列表
    for movie in movie_list:
        # 获取电影名称和链接
        title = movie.find('a').text.strip()
        link = movie.find('a')['href']
        # 获取电影评分
        rating = movie.find('span', class_='rating_nums').text.strip()
        # 将电影信息添加到列表中
        movies.append((title, link, rating))
    
    # 将电影信息转换为Pandas数据帧
    df = pd.DataFrame(movies, columns=['Title', 'Link', 'Rating'])
    
    # 输出前50名电影的信息
    print(df.head(50))

把chatgpt回复的代码保存为.py文件，所有文件类型
    
    在cmd中运行即可 python 文件名.py，回车键

![在这里插入图片描述][db3f6aba53e749828c46bdf924783fd8.png]

--------------------

[c01cb053a33241d2a1194f688a7e99e7.png]: https://img-blog.csdnimg.cn/c01cb053a33241d2a1194f688a7e99e7.png
[7f7ea6939de24e41a3d98d71e639de6b.png]: https://img-blog.csdnimg.cn/7f7ea6939de24e41a3d98d71e639de6b.png
[db3f6aba53e749828c46bdf924783fd8.png]: https://img-blog.csdnimg.cn/db3f6aba53e749828c46bdf924783fd8.png