spark读取hdfs文件的路径使用正则表达式

谁借莪１个温暖的怀抱￠ 2022-05-20 10:36 175阅读 0赞

### spark读取hdfs文件的路径使用正则表达式 ###

### 例子一、 ###

# -*- coding:utf-8 -*-
    from pyspark import SparkConf
    from pyspark import SparkContext
    import os
    if __name__ == '__main__':
        os.environ["SPARK_HOME"] = "/Users/a6/Applications/spark-2.1.0-bin-hadoop2.6"
        conf = SparkConf().setMaster('local').setAppName('group')
        sc = SparkContext(conf=conf)
    
        '''/log/shuangshi_haibian/2018-07-16-19-58-log.1531792035400.tmp'''
        "hdfs://localhost:9002/tmp/match/2018-07-16-19-58-log.1531788952521"
        '''
        需要：实时处理数据时，如果读取到tmp文件，但是实际处理的时候变成不是tmp文件，这样会导致程序报错，
        在这里，我们就是要只匹配那些以数字为结尾的hdfs文件作为spark的输入，不把以tmp的临时文件作为输入
        # hdfs目录
        -rw-r--r--   1 a6 supergroup      31672 2018-07-17 10:59 /tmp/match/2018-07-16-19-58-log.1531792131825
        -rw-r--r--   1 a6 supergroup      30182 2018-07-17 10:59 /tmp/match/2018-07-16-19-58-log.1531792160280
        -rw-r--r--   1 a6 supergroup      27956 2018-07-17 10:59 /tmp/match/2018-07-16-19-58-log.1531792347369.tmp
        '''
    
        '''
        input_data="hdfs://localhost:9002/tmp/match/%s-19-58-log.1531788952521" % ('2018-07-16')
        print input_data
    
        input_data = "hdfs://localhost:9002/tmp/match/%s-19-58-log.153178895252[1-9]" % ('2018-07-16')
        print input_data
        '''
        '''
        经过查询，在匹配路径时，使用[0-9]做匹配，能够获取所有最后一位以数字为结尾的那些hdfs文件作为输入，而不是tmp文件，满足需求'''
        input_data = "hdfs://localhost:9002/tmp/match_bak/%s*[0-9]" % ('2018-07-16')
    
        print input_data
        result = sc.textFile(input_data)
        res_rdd= result.collect()
        for line in res_rdd:
            print line

### 例子二、 ###

### spark.read.json("/flume/product/160/raw1/2017/05/23/\*\[1-9\]") ###

读取文件,文件以数字结尾.