python数据去重并存入redis数据库

素颜马尾好姑娘i 2023-02-15 01:15 35阅读 0赞

## python数据去重并存入redis数据库 ##

import redis
    import os
    import re
    
    # redis数据库连接
    r = redis.StrictRedis(host='localhost', port=6379, db=0)
    
    # 利用redis total(set) 去重
    def add():
        # os.getcwd 返回表示当前工作目录的字符串
        path = os.getcwd() + "/data/source_word/"
        # os.listdir(path) 返回一个列表，该列表包含了 path 中所有文件与目录的名称。
        # 该列表按任意顺序排列，并且不包含特殊条目 '.' 和 '..'，即使它们确实在目录中存在。
        word_file_list = os.listdir(path)
        # open(file, mode='r', buffering=-1, encoding=None, errors=None, 
        # newline=None, closefd=True, opener=None)
        # 打开 file 并返回对应的 file object。如果该文件不能打开，则触发 OSError。
        for word_file in word_file_list:
            f = open(path + "/" + word_file)
            file_lines_list = f.readlines()
            for line in file_lines_list:
                line.encode('utf-8')
                # re.findall(pattern, string, flags=0)
                # 对 string 返回一个不重复的 pattern 的匹配列表，
                # string 从左到右进行扫描，匹配按找到的顺序返回。
                # 如果样式里存在一到多个组，就返回一个组合列表；就是一个元组的列表（如果样式里有超过一个组合的话）。
                # 空匹配也会包含在结果里。
                # [\u4e00-\u9fa5] 表示匹配所有中文
                line = re.findall('[\u4e00-\u9fa5]', line)
                line = ''.join([_ for _ in line])
                # Redis Sadd 命令将一个或多个成员元素加入到集合中，已经存在于集合的成员元素将被忽略。
                r.sadd('total', line)
            f.close()
    
    # 导出成训练语料
    def output_review(review_file_path):
        members = r.smembers('total')
        f = open(review_file_path,'w')
        for member in members:
            # fileObject.writelines( [ str ])
            # writelines() 方法用于向文件中写入一序列的字符串。
            f.writelines(m)
        f.close()
    
    data()
    
    review_file_path = "/home/data" + "/review.txt"
    output_review(review_file_path)
    r.close()