node.js做的一个简单爬虫,适合菜鸟级新手,针对无防爬措施的网站

朱雀 2022-06-03 07:48 148阅读 0赞

一个爬虫的简单教程 用到的依赖 nodejs的request模块，获取目标页面的html代码； 使用cheerio模块对html代码做处理;用正则的话也不会拦你; 使用exprerss来起一个服务;

话不多说,先上源码

https://github.com/lyc-123/reptile

具体实现

1.  安装依赖模块 $ npm init 初始化一个项目

\`\`\`

npm install express request cheerio --save

\`\`\`

安装所需的模块 express用于搭建node服务 request类似于ajax的方式获取一个url里的html代码 cheerio类似于jQuery那样对所获取的html代码进行处理

//根目录新建一个app.js
    
    var express = require('express');
    
    var app = express(); var fs = require('fs'); 
    
    var request = require('request'); 
    
    var cheerio = require('cheerio');
    
    const articalSavePath = "./data"; //文章存放路径
    
    //创建所需文件夹 
    if (!fs.existsSync(articalSavePath)) { fs.mkdirSync(articalSavePath); }
    
    //这里是简单的爬取几个title 
    app.get('/', function(req, res) {
    request('http://bohaishibei.com/post/category/main/', function(error, response, body) {
        if (!error && response.statusCode == 200) {
            $ = cheerio.load(body);
            var arr = [];
            for (var i = 0; i < $('.excerpt').length; i++) {
                arr.push($('.excerpt').find('a').eq(i).text())
            }
            res.json({
                cat: arr
            });
    
            console.log('a')
            let news_title = '1'
            //这里是把爬取到的数据保存到文件夹里面
            savedContent($, news_title)   
        }
    })

\})

\`\`\`

//保存到本地的代码

//起服务

var server = app.listen(3000, function() \{ console.log('listening at 3000'); \});

\`\`\`

//源码使用方法 cnpm i 安装依赖 node index.js运行 访问 localhost:3000即可看到数据

常见问题 要是自己照着敲下来的话,会发现数据都是以字符集编码形式保存起来的, 这里的话我们需要去node中找到cheerio,在引用的js中有一个control.js, 里面有一个字符可以控制是否原数据保存