##python读取大文件的机制

水深无声 2022-09-29 05:25 187阅读 0赞

#### 概述：最近经常听别人的面试题目是读取一个大文件，然后出来读取到的字符串，比如某串的个数了，某串的出现频率之类的，和朋友聊天过程中决定用不同的语言比个赛，分别是c,python,shell。我原本以为c语言一定会获胜(毕竟以效率著称)，但结果却是python完胜而且是数量级上的完胜，正当我感叹python大法好时。。。 ####

题目：  
`现给一个文件400M（该文件是由/etc/passwd生成的），统计其中root字符串出现的次数。`

#### **一.c语言实现版** ####

#include <stdio.h>
    #include <time.h>
    int main(){
    
        int cnt=0;
        int start,end;
        FILE *fp;
        char a[4]="oot";
        char b[4];
    
        start = time((time_t*)NULL);
        fp = fopen("/root/bigtest", "r");
        while(!feof(fp)){
            while(!feof(fp)&&fgetc(fp)!='r');
    //      if (feof(fp)){
    //          break;
    //      }
            if(fgetc(fp)=='o'){
                if(fgetc(fp)=='o'){
                    if(fgetc(fp)=='t'){
                        ++cnt;
                    }
                }
            }else{
                continue;
            }
            //printf("%s----------\n",b);
        }
        end = time((time_t*)NULL);
        printf("%.2fs %ld\n",((end-start)*1.0),cnt);
    
    fclose(fp);
            return 0;
    }

c语言版就是直接从文件中一个字符一个读取，然后判断，最终输出时间。我们看下用时。

[root@foundation3 Desktop]# gcc 1.c -o big
    [root@foundation3 Desktop]# ./big 
    6.00s 745540

用了6s时间，计算出有745540个root

#### **二.shell版本** ####

使用shell的好处就是简洁，但是速度就不敢恭维了

#!/bin/bash
    starttime=`date +'%s'`
    cat /root/bigtest | grep -o root |wc -l
    endtime=`date +'%s'`
    
    echo $((endtime-starttime))

[root@foundation3 Desktop]# bash big_shell.sh 
    745540
    12

用12s，计算出745540个root

#### **三.python版本** ####

通过python的上下文管理器打开文件，在使用内建的count函数计算每行的root个数，代码简洁程度一点都不比shell差。

# /usr/bin/env python 
    import time
    sum=0
    start=time.time()
    with open('/root/bigtest') as f:
        for i in f:
            new=i.count('root')
            sum+=new
    print sum,time.time()-start

[root@foundation3 Desktop]# python /root/bigpy.py 
    745540 0.781894922256

这个时间让我震惊简直，比c快了将近10倍好不好。  
为了探究他读文件的机制我试了很多方法，一开始以为他是运用了pytho的多线程，就写了如下的代码

import threading,time
    
    start=time.time() sum=0 def count(text): global sum sum+=text.count('root') # print 'thread end' f=open('/root/bigtest') while True: text=f.read(1000000) t=threading.Thread(target=count,args=(text,)) # print 'thread begin' t.start() if text == '': break t.join() print 'thread is ended \ntime is %s num is %s' %(time.time()-start,sum)

[root@foundation3 Desktop]# python multibit.py 
    thread is ended 
    time is 0.72488617897 num is 745538

多线程版本好像并没有多少提升，但是计算的好像有点问题，应该是切片的时候正好切到了root，导致计算出错。比正常计算的少了两个。

#### 四.python的复制的原理 ####

其实这个发现是一个巧合，大家有没有发现，我是先运行了其他版本的读取程序，最后才运行的python版本的程序。问题就出在这里，刚才我重启了次电脑，优先运行了一下python的程序，我发现速度变慢了。如下：

[root@foundation3 Desktop]# python /root/bigpy.py 
    745540 6.27875995636

用了6s多，明显和以前的不一样啊，难道程序被改了，我又运行一遍，发现又是零点几秒了，我恍然大悟，一定是cache的原因。  
现在我们清一下cahce

[root@foundation3 Desktop]# echo 3 > /proc/sys/vm/drop_caches

[root@foundation3 Desktop]# echo 3 > /proc/sys/vm/drop_caches 
    [root@foundation3 Desktop]# free -m
                  total        used        free      shared  buff/cache   available
    Mem:           3590        1117        2149         163         323        2131
    Swap:          3839           0        3839

现在的cache是323。  
然后执行一次python的脚本，先是发现了读取时间又变成了7s多，可以确定是cache的缘故。现在再看一下cache。

[root@foundation3 Desktop]# free -m
                  total        used        free      shared  buff/cache   available
    Mem:           3590        1117        1741         163         731        2101
    Swap:          3839           0        3839
    [root@foundation3 Desktop]#

cache明显增加了。证明了我们的猜想，python是会读取cache中的数据，所以会比其他的快很多。