python抓取漫画（破解js）

朴灿烈づ我的快乐病毒、 2021-12-09 17:23 366阅读 0赞

闲着无聊看漫画，《镇魂街》，本来想等着动漫出来再看，等了好久也没出第二季，还是看漫画吧。

有的时候是不是会出现502，而且刷新的好慢，看的好烦躁，还是把动画下载下来吧，以前还在上学的时候，有使用python写过抓数据的demo，之前的比较简单，这次的稍微有点复杂，花了点时间写出来了，没有系统的学过python，所以写的肯定有点搓，哈哈，在这里做个备份，有什么优化的地方，可以评论提出来

百度搜索“镇魂街”，第一个链接，有妖气到50集就要VIP了，我也懒得管是不是要充钱才能看，就换了下面的仆飞漫画

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAzNzAwODI_size_16_color_FFFFFF_t_70][]

点进去，首先肯定是根据这个连接 [http://www.pufei.net/manhua/20/ ][http_www.pufei.net_manhua_20_]获取整个页面的html代码

def get_content(self, url):
            ua = fake_useragent.UserAgent()
            headers = {
                'User_Agent': ua.random}
            response = requests.get(url, headers=headers)
            r = response.text
            a = r.encode('ISO-8859-1').decode(requests.utils.get_encodings_from_content(r)[0])
            return a

为了避免会被网站拦截请求，所以在请求头改变一下参数User\_Agent，也不知道管不管用，哈哈

这里使用了request和fake\_useragent库，需要import一下

import fake_useragent
    import requests

还需要注意的时候，获取下来的html中文会乱码，所以需要重新编码再解码，代码很容易看懂，不多解释

接着要获取章节的名称，分析一下html的格式，我使用的是bs4来解析这个页面，然后通过css选择器获取这个div，然后遍历所有的li标签，再获取a标签，就可以拿到href连接了，注意这里的连接是相对路径，需要拼上网站的域名

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAzNzAwODI_size_16_color_FFFFFF_t_70 1][]

代码像这样

def get_page_chapter(self, url, dir_path):
            content = self.get_content(url)
            sel = bs4.BeautifulSoup(content, 'lxml')
            div = bs4.BeautifulSoup(str(sel.select_one('.max-h200')), 'lxml')
            for li in div.find_all("li"):
                a_url = li.find("a")
                if a_url:
                    url = a_url.get("href")
                    self.download_chapter('http://www.pufei.net' + url, a_url.get_text(), dir_path)

最最关键的来了，正常情况下，获取到章节的地址就可以获取到图片信息了，但是这个网站不是这么做的，这个网站是通过js动态的请求图片获取的，所以说单独的获取当前页面的内容是获取不到图片信息的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAzNzAwODI_size_16_color_FFFFFF_t_70 2][]

既然是动态的加载图片，肯定需要通过css选择器获取到图片的这个div，图片的这个div的class是viewimages，打开浏览器的调试功能，在网络那里搜索一下这个关键字看看，可以看到在view.js的这个文件加载图片的，继续找img标签的src属性

![20190714170059801.png][]

可以看到需要用到photosr这个数组的，不过初始化的代码不在这个文件中，继续全局搜索

![2019071417042847.png][]

可以看到这个变量是在下图的这个位置这里定义的，也就是进入当前章节页面就初始化了，继续搜索发现没有哪个地方是给这个变量赋值的，坑爹！！！

不过注意到下面有个packed常量，猜测可能是初始化photosr这个变量的

![20190714170609748.png][]

这么长一串的东西也不知道是啥，一开始尝试将js代码改成python来写，发现不好弄，放弃了，改用python的execjs库来调用js，将这段js全部复制下面，注意有个base64decode方法有用到，一起复制下面，因为这段代码是初始化photosr这个变量的，所以最终结果需要返回这个变量

引入execjs库，执行代码如下，获取到这个章节的所有漫画的连接，这里获取到的一样是相对地址，下面使用的时候需要拼上域名

import execjs

def get_js(self):
            f = open("base64decode.js", 'r', encoding='utf-8')
            line = f.readline()
            html_str = ''
            while line:
                html_str = html_str + line
                line = f.readline()
            return html_str
    
        def base_64_decode(self, data):
            js_str = self.get_js()
            ctx = execjs.compile(js_str)
            return ctx.call('f', data)

由于每个章节的packed肯定是不一样的，所有需要使用正则表达式截取这个变量，注意需要导入re库，代码像这样

search_obj = re.findall(r'packed="(.+)";eval', content, re.S)

已经获取图片的地址了，接下来就比较简单了，只需要下载到本地就好了，代码如下

def get_image(self, img_urls):
            response = requests.get(img_urls)
            if response.status_code == 200:
                return response.content
    
        def download_chapter(self, url, chapter_name, dir_path):
            content = self.get_content(url)
            search_obj = re.findall(r'packed="(.+)";eval', content, re.S)
            count = 1
            for url2 in self.base_64_decode(search_obj[0]):
                if isinstance(url2, str):
                    if url2:
                        image_path = dir_path + '/' + chapter_name + '/P-%s.jpg' % count
                        if not os.path.exists(dir_path + '/' + chapter_name):
                            os.makedirs(dir_path + '/' + chapter_name)
                        if not os.path.exists(image_path):
                            image = self.get_image("http://res.img.pufei.net/" + url2)
                            if image:
                                with open(image_path, 'wb') as f:
                                    f.write(image)
                                    count += 1

为了避免图片乱序，所有将图片的名称改为P-xx，这样漫画的顺序就不会乱了

调用的主函数如下：

from DownloadPage import *
    
    url = "http://www.pufei.net/manhua/20/"
    save_path = "F:/dongman"
    
    downloadPage = DownloadPage()
    content = downloadPage.get_page_chapter(url, save_path)

效果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAzNzAwODI_size_16_color_FFFFFF_t_70 3][]

python版本用的是3.7

代码github地址：[https://github.com/justdrinkWater/downloadCartoon][https_github.com_justdrinkWater_downloadCartoon]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAzNzAwODI_size_16_color_FFFFFF_t_70]: /images/20211209/d6b1b1f651ee44d09cff4f76e8b9a5c4.png
[http_www.pufei.net_manhua_20_]: http://www.pufei.net/manhua/20/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAzNzAwODI_size_16_color_FFFFFF_t_70 1]: /images/20211209/7bd093a249d240b0aea8511e5eaebba4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAzNzAwODI_size_16_color_FFFFFF_t_70 2]: /images/20211209/6a458a9b275942a5af6b16737a6226ed.png
[20190714170059801.png]: /images/20211209/a49d6c185774437cb53a8c2ba36e140f.png
[2019071417042847.png]: /images/20211209/46e9038837664296a699869970e63857.png
[20190714170609748.png]: /images/20211209/5e1a1d5c0980427a87e1a793ff916357.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAzNzAwODI_size_16_color_FFFFFF_t_70 3]: /images/20211209/958ac5f8cc6141748e6cbdc122c58b0f.png
[https_github.com_justdrinkWater_downloadCartoon]: https://github.com/justdrinkWater/downloadCartoon