Python彻底解决采集网页乱码问题

旧城等待， 2022-07-16 14:27 212阅读 0赞

# 实战十几万网页采集后的修正版： #

python彻底解决网页采集乱码问题，准确率 99%

def download_page(indexurl, timeout=10):
        """ 下载网站数据并返回 :param indexurl: :param timeout: :return: """
        try:
            res = urllib2.urlopen(indexurl, timeout=timeout)
            code = res.getcode()
            info = res.info()
            charset = None
    
            if info:
                m = re.findall(r'charset=([a-zA-Z0-9_-]+)', ' '.join(info.headers), re.I)
                if m:
                    charset = str(m[0]).lower()
    
            if code == 200:
                html = res.read()
                if not charset and html:
                    charset = pick_charset(html)
    
                # 如果完全采不到 charset,默认使用 gbk 反正都是乱码
                if not charset or charset == "gb2312":
                    charset = 'gbk'
    
                if charset and charset != 'utf-8':
                    try:
                        html = html.decode(charset).encode('utf-8')
                    except:
                        pass
            else:
                html = ''
            return (code,
                    res.geturl(),
                    charset,
                    html
                    )
        except urllib2.URLError, e:
            return str("%r" % e)
        except socket.timeout, e:
            return str("%r" % e)
        except:
            return str(sys.exc_info())

注意引入必要的包，如果有不足的地方，欢迎指正。

发表评论取消回复

表情：

评论列表（有 0 条评论，212人围观）

还没有评论，来说两句吧...

相关阅读

相关【PHP】解决html网页乱码问题

【PHP】解决html网页乱码问题参考文章： [（1）【PHP】解决html网页乱码问题][1_PHP_html] （2）https://www.cnblogs.com

待我称王封你为后i/ 2022年09月05日 12:56/ 0 赞/ 289 阅读

相关彻底解决IDEA控制台中文乱码问题

-------------------- 版权声明本文原创作者：谷哥的小弟作者博客地址：http://blog.csdn.net/lfdfhl ---

た入场券/ 2022年08月31日 07:22/ 0 赞/ 289 阅读

相关教你如何彻底解决网页中文乱码

一般来说，做好两件事就可以防止乱码了； ①就是在页面中明确声明网页的编码 //PHP页面 header("content-type:text/html

曾经终败给现在/ 2022年08月13日 11:41/ 0 赞/ 261 阅读

相关彻底解决Spring MVC 中文乱码问题

1：表单提交controller获得中文参数后乱码解决方案注意： jsp页面编码设置为UTF-8 form表单提交方式为必须为post，get方式下面spring编码过滤

痛定思痛。/ 2022年08月03日 05:25/ 0 赞/ 218 阅读

相关 Python彻底解决采集网页乱码问题

实战十几万网页采集后的修正版： python彻底解决网页采集乱码问题，准确率 99% def download_page(indexurl, timeout=1

旧城等待，/ 2022年07月16日 14:27/ 0 赞/ 212 阅读

相关彻底解决Spring MVC 中文乱码问题

1：表单提交controller获得中文参数后乱码解决方案注意：jsp页面编码设置为UTF-8 form表单提交方式为必须为post，get方式下面spring编码过滤器

约定不等于承诺〃/ 2022年05月27日 07:57/ 0 赞/ 224 阅读

相关彻底搞懂 python 中文乱码问题

前言 [曾几何时][Link 1] Python 中文乱码的问题困扰了我很多很多年，每次出现中文乱码都要去网上搜索答案，虽然解决了当时遇到的问题但下次出现乱码的时候又会懵

谁借莪１个温暖的怀抱￠/ 2022年03月22日 05:52/ 0 赞/ 244 阅读

相关 ajax乱码彻底解决

post提交 $.ajax({ url : '/category/add', type : 'po

秒速五厘米/ 2022年02月04日 10:55/ 0 赞/ 402 阅读

相关彻底解决tomcat乱码问题

在/conf/logging.properties添加如下语句 java.util.logging.ConsoleHandler.encoding = GBK 原因

我就是我/ 2021年12月03日 04:51/ 0 赞/ 360 阅读

相关彻底解决Spring MVC 中文乱码问题

1：表单提交controller获得中文参数后乱码解决方案注意： jsp页面编码设置为UTF-8 form表单提交方式为必须为post，get方式下面[spring][]

灰太狼/ 2021年09月26日 02:22/ 0 赞/ 456 阅读