【工作记录】爬虫

小灰灰 2021-12-23 07:11 303阅读 0赞

因为工作需要，有时候需要自己看邮箱里得内容。  
代码如下：可以先拿去跑一跑，注意密码是ssl验证码

# -*- coding: utf-8 -*-
    
    import poplib
    import email
    from email.parser import Parser
    from email.header import decode_header
    from email.utils import parseaddr
    #解析邮件
    def guess_charset(msg):
        charset = msg.get_charset()
        if charset is None:
            content_type = msg.get('Content-Type', '').lower()
            pos = content_type.find('charset=')
            if pos >= 0:
                charset = content_type[pos + 8:].strip()
        return charset
    
    def decode_str(s):
        value, charset = decode_header(s)[0]
        if charset:
            value = value.decode(charset)
        return value
    #定义输出的格式
    def print_info(msg, indent=0):
        if indent == 0:
            for header in ['From', 'To', 'Subject']:
                value = msg.get(header, '')
                if value:
                    if header=='Subject':
                        value = decode_str(value)
                    else:
                        hdr, addr = parseaddr(value)
                        name = decode_str(hdr)
                        value = u'%s <%s>' % (name, addr)
                print('%s%s: %s' % ('  ' * indent, header, value))
        if (msg.is_multipart()):
            parts = msg.get_payload()
            for n, part in enumerate(parts):
                print('%spart %s' % ('  ' * indent, n))
                print('%s--------------------' % ('  ' * indent))
                print_info(part, indent + 1)
        else:
            content_type = msg.get_content_type()
            if content_type=='text/plain' or content_type=='text/html':
                content = msg.get_payload(decode=True)
                charset = guess_charset(msg)
                if charset:
                    content = content.decode(charset)
                print('%sText: %s' % ('  ' * indent, content + '...')) 
            else:
                print('%sAttachment: %s' % ('  ' * indent, content_type))
    
    email = raw_input('Email: ')
    password = raw_input('Password: ')
    pop3_server = raw_input('POP3 server: ')
    
    server = poplib.POP3_SSL(pop3_server)
    server.set_debuglevel(1)
    print(server.getwelcome())
    # 认证:
    server.user(email)
    server.pass_(password)
    print('Messages: %s. Size: %s' % server.stat())
    #新建文件，保存邮件。但是这是没有解析的文件格式
    myfile = file("testit.txt", 'w')
    resp, mails, octets = server.list()
    # 获取最新一封邮件, 注意索引号从1开始:
    for i in range(1,len(mails)):
        resp, lines, octets = server.retr(i)
    # 解析邮件:
        msg = Parser().parsestr('\r\n'.join(lines))
    # 打印邮件内容到控制台:
        print_info(msg)
        #打印到文件夹，但是格式没有解析
        print >> myfile,msg
    
    
    # 慎重:将直接从服务器删除邮件:
    # server.dele(len(mails))
    # 关闭连接:
    myfile.close()
    #关闭文件
    server.quit()

email：账号  
password：授权码  
pop3-server：（如）pop3.qq.com  
用Python的poplib模块收取邮件分两步：第一步是用POP3协议把邮件获取到本地，第二步是用email模块把原始邮件解析为Message对象，然后，用适当的形式把邮件内容展示给用户即可。

————————-8/16日补充  
java正则抓取网页上的邮箱

import java.io.BufferedReader;  
        import java.io.File;  
        import java.io.FileWriter;  
        import java.io.InputStreamReader;  
        import java.io.Writer;  
        import java.net.URL;  
        import java.net.URLConnection;  
        import java.sql.Time;  
        import java.util.Scanner;  
        import java.util.regex.Matcher;  
        import java.util.regex.Pattern;  
        public class wangye {  
            public static void main(String[] args) throws Exception {// 本程序内部异常过多为了简便，不一Try，直接抛给虚拟机  
                Long StartTime = System.currentTimeMillis();  
                System.out.println("--请输入正确的网址如http：//www.baidu.com--");  
                Scanner input = new Scanner(System.in);// 实例化键盘输入类  
    
                String webaddress = input.next();// 创建输入对象  
                File file = new File("D:" + File.separator + "test.txt");// 实例化文件类对象  
    
                                                                        // 并指明输出地址和输出文件名  
    
                Writer outWriter = new FileWriter(file);// 实例化outWriter类  
    
                URL url = new URL(webaddress);// 实例化URL类。  
    
                URLConnection conn = url.openConnection();// 取得链接  
    
                BufferedReader buff = new BufferedReader(new InputStreamReader(  
    
                                                        conn.getInputStream()));// 取得网页数据  
    
                String line = null;  
                int i=0;  
                String regex = "\\w+@\\w+(\\.\\w+)+";// 声明正则，提取网页前提  
    
                Pattern p = Pattern.compile(regex);// 为patttern实例化  
    
                outWriter.write("该网页中所包含的的邮箱如下所示:\r\n");  
                while ((line = buff.readLine()) != null) {  
    
                    Matcher m = p.matcher(line);// 进行匹配  
    
                    while (m.find()) {  
                        i++;  
                        outWriter.write(m.group() + ";\r\n");// 将匹配的字符输入到目标文件  
                    }  
                }  
                Long StopTime = System.currentTimeMillis();  
                String UseTime=(StopTime-StartTime)+"";  
                outWriter.write("--------------------------------------------------------\r\n");  
                outWriter.write("本次爬取页面地址："+webaddress+"\r\n");  
                outWriter.write("爬取用时："+UseTime+"毫秒\r\n");  
                outWriter.write("本次共得到邮箱："+i+"条\r\n");  
                outWriter.write("****谢谢您的使用****\r\n");  
                outWriter.write("--------------------------------------------------------");  
                outWriter.close();// 关闭文件输出操作  
                System.out.println(" —————————————————————\t");  
                System.out.println("|页面爬取成功，请到D盘根目录下查看test文档|\t");  
                System.out.println("|                                         |");  
                System.out.println("|如需重新爬取，请再次执行程序,谢谢您的使用|\t");  
                System.out.println(" —————————————————————\t");  
            }  
        }

在新建一个调用的类pawenjian打印输出结果

import java.io.BufferedReader;  
    import java.io.File;  
    import java.io.FileReader;  
    import java.util.regex.Matcher;  
    import java.util.regex.Pattern;  
    public class pawenjian {
            
        public static void main(String[] args)throws Exception {  
            BufferedReader buff=new BufferedReader(new FileReader("D:"+File.separator+"test.txt"));  
    
            String line=null;  
            String regex="\\w+@\\w+(\\.\\w+)+";  
            Pattern p=Pattern.compile(regex);  
            while ((line=buff.readLine())!= null) {  
                Matcher m=p.matcher(line);  
                while (m.find()) {  
                    System.out.println(m.group()+";");  
    
                }  
            }  
        }  
    }

结果如下：

该网页中所包含的的邮箱如下所示:
    --------------------------------------------------------
    本次爬取页面地址：http://tieba.baidu.com/p/3908710053
    爬取用时：4024毫秒
    本次共得到邮箱：0条
    ****谢谢您的使用****
    --------------------------------------------------------

转载于:https://www.cnblogs.com/Tesi1a/p/7624093.html