Node.js 抓取电影天堂新上电影节目单及ftp链接

水深无声 2022-05-28 14:05 166阅读 0赞

> 代码地址如下：  
> [http://www.demodashi.com/demo/12368.html][http_www.demodashi.com_demo_12368.html]

## 1 概述 ##

本实例主要使用Node.js去抓取电影的节目单，方便大家使用下载。

## 2 node package ##

1.  fs
2.  cheerio
3.  superagent
4.  superagent-charset
5.  express
6.  path

fs 用来读写文件  
cherrio 类似jquery  
superagent （ajax http模块）  
superagent-charset 解决中文乱码问题  
express 搭建server  
path 路径

统一安装这些包，可以使用一下命令：

npm i express cheerio superagent superagent-charset path fs --save-dev

如果想深入了解这些包 可以去下面这个网址了解下  
[find package][]

## 3 步骤 ##

#### 第一步： ####

利用express 搭建本地服务

const app = require('express')();
    const port = 3000;
    
    app.get('/', (req, res)=>{
        res.send('hello world');
    });
    
    app.listen(port, ()=>{
        console.log('listening port on', port);
    });

打开浏览器 输入[ localhost:3000][localhost_3000]

看到下面页面，说明初步成功  
![zsjoCmKBOcwnQ6gJHoA.png][]

#### 第二步 ####

先试用superagent（http模块）去获取页面的数据，然后用cheerio(类似jquery)去获取页面数据。  
具体代码如下

superagent.get()类似ajax get请求，cheerio.load() 类似jquery，获取数据的方法其实就是jquery的方法。

获取完首页的链接，一般我们需要进去详情页才能看得到ftp的地址，可是现在我们做了第二次的轮询请求，就直接得到了ftp的地址，无需进到详情页，节省很多时间。

最终我们会存到本地文件夹里  
![5hc1goyKIDBTOiTQReo.png][]

接下来我们会把这些数据呈现到页面中：

![8rab56fBG7rydqgNy7I.png][]

代码实现：

app.get('/dy', function (req, res, next) { 
        var url_data = [];
        var img_url = 'https://raw.githubusercontent.com/huainanhai/EXE/master/sevenDay/doc/wz.jpg';
        fs.readFile(path.join(__dirname, './doc', 'dy.txt'), 'utf-8', (err, data) => {
            if (err) throw err;
            url_data = data.split('\n').filter(function (n) { 
                return n != '';
            });
            var str = '<div style="width:50%;">';
            str += '<h4 style="padding-left:10px;">(温馨提示：复制ftp开头的路径到‘迅雷极速版’（邮件附件里面有）就会自动下载电影了, 最新免费电影节目单不定时更新，福利呦)</h4>'
            item.forEach(m => {
                str += '<h3 style="padding-left:10px;">' + m.name + '</h3>';
                m.data.forEach((n) => {
                    url_data.forEach(j => {
                        var name = j.split('~~')[0];
                        name = name.split('.')[0];
                        if (n.title.indexOf(name) > -1) {
                            n.download_url = j.split('~~')[1];
                        }
                    });
                    str += '<div style="">' +
                        '<a href="' + n.href + '" style="height:30px;display:inline-block;vertical-align: middle;text-decoration:none;margin-left:6px;" target="_blank">' + n.title + '</a>' +
                        '<span style="height:30px;display:inline-block;vertical-align: middle;color: red;float:right;">' + n.date + '</span>' +
                        '</div>';
                    str += '<div style="background:#fdfddf;border:1px solid #ccc;padding:3px 10px;margin-bottom:10px;">' + n.download_url + '</div>';
                });
            });
            str += '<img src="' + img_url + '" width="540" height="748" />';
            str += '</div>';
            res.send(str);
        })
    });

## 4 源码截图 ##

![hmUBdGfIbhfubcHqkbB.jpg][]

如果要下载本实例，解压 然后 npm install 即可安装所需依赖包，下次我们讲解如果把数据发送到自己的邮箱（或者群发更多人的邮箱）!

Node.js 抓取电影天堂新上电影节目单及ftp链接

> 代码地址如下：  
> [http://www.demodashi.com/demo/12368.html][http_www.demodashi.com_demo_12368.html]
> 
> 注：本文著作权归作者，由demo大师发表，拒绝转载，转载需要作者授权

[http_www.demodashi.com_demo_12368.html]: http://www.demodashi.com/demo/12368.html
[find package]: https://www.npmjs.com/
[localhost_3000]: http://localhost:3000
[zsjoCmKBOcwnQ6gJHoA.png]: /images/20220528/660511ba26a24018ab142b0313ff8d45.png
[5hc1goyKIDBTOiTQReo.png]: /images/20220528/b19e09ecdbab4b39ada997bf914b242a.png
[8rab56fBG7rydqgNy7I.png]: /images/20220528/2cd4afc03e3b4830ba08aadca38b2cc2.png
[hmUBdGfIbhfubcHqkbB.jpg]: /images/20220528/3db04e16def149898b4a7f10bbb14506.png