ajax 方式的python爬多条新闻内容和爬虫思路

小鱼儿 2023-01-17 08:57 136阅读 0赞

### 文章目录 ###

*   *  1、先爬新闻的列表
     *   *  1.1 全代码
     *  2、再把单个的新闻内容取出来
     *   *  2.1全代码
     *  3、取出单个，循环多个新闻就可以了
     *   *  3.1 全代码

爬新闻思路

1、取列表新闻和新闻的url
    2、把单个新闻内容取出来
    3、再把变量循环一下，就可以了

## 1、先爬新闻的列表 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 2]

1、取ajax类型我们这样取列表数据，取分页类型的数据，我们也可以用这个办法

### 1.1 全代码 ###

from pprint import pprint
    
    import requests, json
    
    url = 'https://www.szzhdj.gov.cn/web/learn/news/pager.mvc'
    data = { 'columnId': 'important',
            'childColumnId': '2ca9ca08e204413f8e850fbd89da1962',
            'page': 1,
            'pageSize': 1000}
    
    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Origin': 'https://www.szzhdj.gov.cn',
        'Referer': 'https://www.szzhdj.gov.cn/views/learn/news.html?type=important'
    
    }
    
    res = requests.post(url, data=data, headers=headers)
    # print(res.json())
    # print(res.json()['data']['pageData'][x]['title'])
    for x in range(972):
    
    # #标题
    # print(res.json()['data']['pageData'][x]['title'])
    # #图片地址
        img = res.json()['data']['pageData'][x]['covers']
        print(img)
    # url =res.json()['data']['pageData'][x]['url']
    # print(url)

## 2、再把单个的新闻内容取出来 ##

单个新闻还是用selenium取

### 2.1全代码 ###

""" @日期：2021-4-27 @内容：1、爬取深圳智慧党建的新闻内容和图片 @办法 1、用selenium库去爬取新闻内容 2、用requests库取爬取图片（但是目前我实在试了好多法子，只能爬取到单个图片） """
    import requests
    from selenium import webdriver
    
    wd = webdriver.Chrome(r'D:\tools-work\chromedriver_win32\chromedriver.exe')
    
    wd.implicitly_wait(5)
    
    wd.get(f'https://www.szzhdj.gov.cn/views/learn/details.html?type=important&id=09a2b866aacc4f57ace54dd008ed1fca')
    # #标题
    title = wd.find_element_by_css_selector('#app > main > section > main > h1')
    #内容
    content1 = wd.find_elements_by_css_selector('#app > main > section > main > article >P>span')
    # print(content.text)
    for x in content1:
        # print(x.text)
        data = open(r'D://智慧党建//智慧党建新闻内容//' + f'{title.text}' +'.txt', 'w')
        data.write(x.text+'\n')
    
    
    #图片 目前我获取只能获取一个图片，加了循环也不管用
    img = wd.find_element_by_css_selector('#app > main > section > main > article > p > img')
    # for y in img:
    URL = img.get_attribute('src')
    # print(URL)
    m = requests.get(URL)
    # for r in range(3):
    path = 'D://智慧党建//智慧党建新闻图片//' + f'{title.text}' + '.png'
    with open(path, 'wb') as f:
        f.write(m.content)
    quit()

## 3、取出单个，循环多个新闻就可以了 ##

### 3.1 全代码 ###

""" @日期：2021-4-28 @内容：1、爬取多条深圳智慧党建的新闻内容和图片 1.1 先用requests库找到接口内容 1.2 他换的内容是id 把id变成多个，就可以获取多条数据 @办法 1、用selenium库去爬取新闻内容 2、用requests库取爬取图片（但是目前我实在试了好多法子，只能爬取到单个图片） """
    import requests
    from selenium import webdriver
    
    wd = webdriver.Chrome(r'D:\tools-work\chromedriver_win32\chromedriver.exe')
    
    wd.implicitly_wait(5)
    
    id =['9c1601f2d4f74eae835c373f4cbe8d7c','09a2b866aacc4f57ace54dd008ed1fca']
    #用列表方式调用多个数据，进行新闻内容读取，为了别人的服务器，我也只读取了2条，想要多读取，可以多读取
    for nr in id:
        wd.get(f'https://www.szzhdj.gov.cn/views/learn/details.html?type=important&id='+f'{nr}')
        # #标题
        title = wd.find_element_by_css_selector('#app > main > section > main > h1')
        #内容
        content1 = wd.find_elements_by_css_selector('#app > main > section > main > article >P>span')
        # print(content.text)
        for x in content1:
            # print(x.text)
            data = open(r'D://智慧党建//智慧党建新闻内容//' + f'{title.text}' +'.txt', 'w')
            data.write(x.text+'\n')

运行结果：

![在这里插入图片描述][2021042816270694.png]

把内容取出来，加json格式详情参考：https://blog.csdn.net/weixin_41665637/article/details/103051444

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70]: /images/20221021/df4a8cb18b75453c9663c8ae4f68a69e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 1]: /images/20221021/76197d735aef4c4db32c0e2e7d85f603.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTY2NTYzNw_size_16_color_FFFFFF_t_70 2]: /images/20221021/f8121cd350714b5a85e21e73a8bfa9b6.png
[2021042816270694.png]: /images/20221021/a6780c4c488f4c18866311900d08cc3c.png