linux 定时任务 (python 爬虫统计博客数据)

朱雀 2022-11-20 08:07 174阅读 0赞

# linux 定时任务 (python 爬虫统计博客数据) #

## 1. 任务目标 ##

定时任务中，每天统计一下今日博客的各项数据，并以邮件的形式发送给自己。

## 2. linux 定时任务 (python) ##

一切复杂的任务都应该从最简单的开始，这位博主有一个很简单易懂的demo，请参考一下他的这篇 [博客][Link 1]。

在理解基本过程后，就可以开始定时运行python脚本了。

*  首先在某目录下新建任务文件 `crontest.cron`，用于存在定时任务语句。
 *  相同目录新建 `hello.py` 文件，并且编辑这个文件写一句简单的 `print('Hello World')`。
 *  编辑 `crontest.cron` 文件，修改为 `5,10,15,20,25,30,35,40,45,50,55,59 * * * * python hello.py >> ~/1.txt`
 *  开始执行定时任务 (注意crontest.cron 文件路径和自己的一致)：  
    `crontab ~/crontest.cron`

执行效果：每小时的 第5分钟，第10分钟，…，第59分钟，会执行一次python脚本，并输出到 `1.txt` 文件中。

## 3. 爬虫任务 ##

在解决了上面的定时任务后，需要解决写代码了，代码同样非常简单，请参考 [30行代码统计自己 CSDN 博客相关数据][30_ CSDN]，这里需要在这篇博客的基础上加一些自己的特殊功能，最后修改后的 `myblog.py` 代码如下：

# -*- coding: UTF-8 -*-
    from urllib.request import urlopen
    from bs4 import BeautifulSoup
    import smtplib
    from email.mime.text import MIMEText
    from email.header import Header
    import time
    
    # 博客地址
    url = 'https://blog.csdn.net/smileyan9'
    html = urlopen(url)
    soup = BeautifulSoup(html.read())
    
    # 进一步缩小范围
    sources = soup.select('.data-info')
    soup = BeautifulSoup(str(sources))
    
    dls = soup.find_all(['dl']) 
    notes = ['原创','周排名','总排名','访问','等级','积分','粉丝','获赞','评论','收藏']
    
    common = ''
    
    # 选择自己关注的数据以及顺序
    keys = [6,3,5,8,7,9]
    
    for key in keys:
        common += (notes[key]+':'+dls[key]['title']+" ")
    
    date = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    
    print(date,'->',common)
    
    # 第三方 SMTP 服务
    mail_host = 'smtp.exmail.qq.com'  #设置服务器
    mail_user = "root@smileyan.cn"    #用户名
    mail_pass="Your password"   
    
    sender = 'root@smileyan.cn'
    receivers = ['root@smileyan.cn']  # 接收邮件，可设置为你的QQ邮箱或者其他邮箱
    
    message = MIMEText(common, 'plain', 'utf-8')
    message['From'] = Header("Python 脚本(by smileyan)", 'utf-8')
    message['To'] =  Header("幸运儿", 'utf-8')
    
    subject = date
    message['Subject'] = Header(subject, 'utf-8')
    
    try:
        smtpObj = smtplib.SMTP() 
        smtpObj.connect(mail_host, 25)    # 25 为 SMTP 端口号
        smtpObj.login(mail_user,mail_pass)  
        smtpObj.sendmail(sender, receivers, message.as_string())
        print("邮件发送成功")
    except smtplib.SMTPException:
        print("Error: 无法发送邮件")

## 4. 指定执行时间 ##

很明显为了安全不能一直爬数据，所以这里我们假设晚上11点后基本访客等数据不会有很大变化，所以每天晚上11点执行爬虫脚本任务。

定时任务设计方法请参考这位博主的 [博客][Link 2]，比上一篇更加详细。

简单介绍一下 cron 文件的格式。  
分 | 小时 | 日 | 月 | 星期 | 命令 |

拿上面的那个例子分析  
`5,10,15,20,25,30,35,40,45,50,55,59 * * * * python hello.py >> ~/1.txt`

总共有4个 \* ，表示每个小时，每天，每月，每个星期，都执行后面的命令。

所以修改就非常简单，每天 23:00 执行一次即可。cron 文件编写如下：

`0 23 * * * python myblog.py`

到现在为止所有的定时爬虫并发送消息的任务已经完成。当然，为了测试方便应该设置的时间与你当前时间相差不大。

请注意：地址应该尽可能详细一些

比如说我在真实环境下曾经遇到过这个问题：root 用户使用的是 python2.7，而我需要用户 yan 来执行指令。

所有这个 cron 文件需要写得尽可能详细避免错误。  
`0 23 * * * /home/yan/anaconda3/bin/python3 /home/yan/myblog.py >> /home/yan/myblog.log`

## 5. 云服务器 ##

不需要多高大上的服务器，就最基础的 1核 2 G 的就行，如果不使用服务器的话需要保证自己电脑（或虚拟机）一直运行也挺费事的。当然，不一定要云服务器，没公网配置但是能够访问外网的服务器都能完成这项任务。

如果还是学生的话强烈推荐购买属于自己的云服务器，毕竟毕业了就享受不了学生优惠了。学生云服务器的使用推荐请参考 [大学生选择云服务器，腾讯云？阿里云？还是华为云？][Link 3]

## 6. 效果展示 ##

已经测试一周时间，使用 linux 自身的定时任务非常稳定，并且可能因为每天只爬 CSDN 一次数据，所以并没有被官方采取某些措施加黑名单。

每天晚上11点都会接收到自己服务器发来的邮件，因为邮箱绑定了微信的小程序，所以每次接收到邮件都会提醒，内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70_pic_center]

## 7. 总结 ##

linux 定时任务挺好玩，当 linux 具有 python 环境后就更加好玩了，可以做很多很多事情。但是在此强调本博客也只是玩一下 linux 定时任务和python 爬虫，绝无任何恶性目的、商业目的。

> Smileyan  
> 2020.10.27 16:28

[Link 1]: https://blog.csdn.net/my_momo_csdn/article/details/78758492
[30_ CSDN]: https://smileyan.blog.csdn.net/article/details/109179069
[Link 2]: https://www.cnblogs.com/mingforyou/p/3930636.html
[Link 3]: https://blog.csdn.net/smileyan9/article/details/96209253
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/6f86a89ac30d44faba03bedc7ab65ba7.png