node-spider：node实践简单的爬虫

清疚 2024-03-26 13:12 98阅读 0赞

**一、理解**

1.1、爬虫：网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。

1.2、Cheerio：Cheerio是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的 jQuery核心实现。适合各种Web爬虫程序。

**二、待抓取页面分析**

2.1、url分页分析

// 第一页地址
    https://money.163.com/special/businessnews/
    // 第二页地址
    https://money.163.com/special/businessnews_02/
    // 第三页地址
    https://money.163.com/special/businessnews_03/

我们通过页面地址分析，url的分页参数在最后一个字段通过 \_02 标记，第一页没有，2-9页，是02-09，超过10 正常展示

2.2、列表分析

![b9f089c7ba9e4eb69e1fc52d7fa609bd.png][]

2.3、分页器分析

这里展示了全部的页码，我们可以获取到最后一页的页码数，从而抓取到每一页

![235bed2e39b84ae1b131e6c49d847f23.png][]

2.4、文章详情页分析，找到要抓取的字段，标题，正文

![a1ceeb51567f40d38631e9f1c66fb441.png][]

**三、实践node爬虫**

3.1、创建目录spider

创建目录spider，pnpm init创建package.json

![bdc368b1f6a84def9e73da899ed2d49c.png][]

3.2、安装依赖

npm i axios
    npm i cheerio

3.3、代码

3.4、执行爬虫

执行node spider.js，数据抓取到db.txt文件，成功。

![50894fe2162943569b0592d88b37887f.png][]

**四、爬虫配置文件**

本文仅实现了一个网站列表的抓取，代码全部在一个文件内实现。如果是要抓取多个文件可以把每个网站的结构写在一个json文件内，爬虫读取每个网站的配置文件，从而提高效率。同时可以把开发爬虫和写爬虫配置的工作分开交由不同的人员实现，提高爬虫开发过程的整体效率。

// 配置文件
    {
        url: "",
        list: [],
        pagination: {
            max: 20,
        },
        article: {
            title: "",
            author: "",
            time: "",
            content: ""
        }
        ...
    }

**五、欢迎交流指正，关注我，一起学习。**

**参考链接：**

[Node.js实现简单爬虫 讲解\_node爬虫\_拾荒李的博客-CSDN博客][Node.js_ _node_-CSDN]

[b9f089c7ba9e4eb69e1fc52d7fa609bd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/2cf4f4da74c04b9fb8101aa28b86934a.png
[235bed2e39b84ae1b131e6c49d847f23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/67c8564a4e91468aa359061992b5944e.png
[a1ceeb51567f40d38631e9f1c66fb441.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/5d3f56a277524bbc8b5a11e9f0985bdb.png
[bdc368b1f6a84def9e73da899ed2d49c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/5552e2034d054981bdbbaf5d66df316f.png
[50894fe2162943569b0592d88b37887f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/221aabb2eceb40ed8a63f4c163122fec.png
[Node.js_ _node_-CSDN]: https://blog.csdn.net/woyebuzhidao321/article/details/123582920