pytho网络爬虫之歌曲爬取

迈不过友情╰ 2022-05-12 06:12 186阅读 0赞

怀着对网络爬虫的好奇，在暑假自学了python的一些基本知识，之后便开始了pyton网络爬虫的学习，兴趣是最好的老师，但是每一次成功的跑起来的喜悦之情也是令人舒服的，为了让我们枯燥的学习变的不那么枯燥。今天就分享写自己写的一个小的程序，那就是利用pyton网络爬虫获取歌曲并且保存，当然对于图片、视频等同样适用。共勉。

## 首先，选取网址。 ##

我的选择是：[http://www.333ttt.com/][http_www.333ttt.com]

原因：1.该网站没有robots协议

2.该网站的网页之间具有鲜明的关系，对于初学者易理解。

我们将爬取该列表的歌曲

![70][]

随便点进该歌的页面，再多试几首，你就会发现：

![70 1][]![70 2][]

此时，规律是不是很明白，所以我们构建的网址格式是

url = "http://www.333ttt.com/up/up210352"
    url = url + str(i) +".html"  其中i为后面的四位数字，每次只需要根据自己的需求更改即可。

## 代码书写： ##

我采取的是python3.6的版本，个人觉得该程序只需要requests库，re库，os库即可。

复制网站中提供的MP3的链接。再网页源代码中进行查找，然后书写正则表达式：

select = re.compile('<span class="STYLE3"><a href="(.*?)">.*?</a>',re.S)
    select1 = re.compile('<span class="STYLE3"><a href=.*?>(.*?)</a>', re.S)

前者为链接的匹配，后者为名字的匹配，便于理解，将该两者分开查找。

话不多话，上代码：

import requests
    import re
    import os
    root = "D://mp3//"
    name = []
    num = 0
    class Sp():
        def __init__(self,url):
            self.url = url
        def getTxt(self):
            url = self.url
            r = requests.get(url)
            r.encoding = r.apparent_encoding
            return r.text
    for i in range(6983,7005):
        url = "http://www.333ttt.com/up/up210352"
        url = url + str(i) +".html"
        spider = Sp(url)
        t = spider.getTxt()
        select = re.compile('<span class="STYLE3"><a href="(.*?)">.*?</a>',re.S)
        select1 = re.compile('<span class="STYLE3"><a href=.*?>(.*?)</a>', re.S)
        ps = re.findall(select,t)
        ps1 = re.findall(select1,t)
        for i in ps1:
            name.append(i)
        for p in ps:
            url = p
            path = root + name[num]
            try:
                if not os.path.exists(root):
                    os.mkdir(root)
                if not os.path.exists(path):
                    r = requests.get(url)
                    with open(path, 'wb') as f:
                        f.write(r.content)
                        f.close()
                        print(name[num] + "保存成功")
                        num += 1
                else:
                    print(name[num] + "保存失败")
                    num += 1
            except:
                continue

其中name是接受匹配的歌曲名字。该程序没有经过优化。内容也是易懂，就不做太多解释。

之后的画面是这样的：

![70 3][]

运行过程可能有点慢，但是此刻表示已经成功了。初写博客，不妥之处，请多赐教。

[http_www.333ttt.com]: http://www.333ttt.com/
[70]: /images/20220512/e16b6ed292d14d46aacc3cb58a9b7afb.png
[70 1]: https://img-blog.csdn.net/20180915101628582?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxODQ5OTU0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 2]: /images/20220512/b5a5a9562a994cf785a3fdab254021b7.png
[70 3]: /images/20220512/07b0e48e862d487891a4532b7f874e51.png