nodejs中利用axios爬取gbk网页乱码的解决办法

红太狼 2023-02-21 09:27 16阅读 0赞

### 爬取gbk编码的网页数据解决中文乱码需要以下3步: ###

1.安装模块
    	2.封装代码
    	3.引用代码编写爬取数据的代码

### 1.安装模块 ###

# i是install的缩写
    npm i axios     # 用来发送请求
    
     # cheerio是jquery核心功能的一个快速灵活而又简洁的实现,主要是为了用在服务器端需要对DOM进行操作的地方
    npm i cheerio  
    
    # 当使用node获取GBK编码的数据时,nodejs只支持utf-8,node没有提供转换编码的原生支持.
    # 因此我们要利用这个模块iconv转换编码格式
    npm i iconv-lite

### 2.封装代码 ###

// 安装完后需要引入，因为nodejs是基于COMMONJS规范，所以引入时都是利用require引入
    const fs = require('fs')
    
    const cheerio = require('cheerio')
    
    const axios = require('axios')
    
    const iconv = require('iconv-lite')
    
    // 封装获取网页的函数
    async function getHtml() { 
    
        const res = await axios({ 
    
            url: "网址",
    
            responseType: 'stream' // 以数据流的方式输出
    
        })
    
        // 返回一个promise实例对象
        return new Promise(resolve => { 
    
            const chunks = []
    
            res.data.on('data', chunk => { 
    
                chunks.push(chunk)
    
            })
    
            res.data.on('end', () => { 
    
                const buffer = Buffer.concat(chunks)
    
                const str = iconv.decode(buffer, 'gbk')
    
                resolve(str)
    
            })
    
        })
    
    }

**node处理IO采用了流（stream）的封装，分为四类，可读流、可写流和基于前者的读写流、转换流。**

**`res.data.on(param1,param2)`这个方法主要就是监听数据变化，自动读取网页数据，两个参数分别是`data`和一个回调处理函数，第一个参数只能是`data`，一旦改动就无法自动获取网页数据, 回调函数的第一个参数就是获取到的流数据。**

**`Buffer` 是一个类，该类用来创建一个专门存放二进制数据的缓存区。在此代码里就是用来把获取到的所有数据流放到一个缓存区里，类似一个数组。**

**`iconv.decode(data,'网页编码格式')` 是一个`iconv-lite`模块的一个方法，此方法主要就是用来解析其他编码格式的数据，当用nodejs爬取GBK格式的数据时，此方法很常用。**

### 3.编写获取数据之后的函数 ###

**此函数只是我获取到数据后自己写的一个小案例，上面的函数是关键，获取到数据后其余的代码编写就靠自己掌控**