大数据索引

短命女 2022-07-17 00:19 178阅读 0赞

体会代码，有二种方式。第一种是初始化索引，第二种是在第一种建立好索引的基础上使用的移动文件指针的方式，减少读入内存数据的方式移动指针。详见下面代码：

#define _CRT_SECURE_NO_WARNINGS
    #include<stdio.h>
    #include<stdlib.h>
    #include<string.h>
    #include<Windows.h>
    
    #define N 84357484
    
    //读取大数据有多少行(不知道行数，无法开辟内存空间）
    //把索引读入到 int a[n] 在堆上
    //写入到文件
    //索引文件载入到内存
    //随机读
    
    char *path = "E:\\qq.txt";
    char *index = "E:\\qqindex.txt";
    
    struct index	//索引的数据结构
    {
    	int *pindex;		//每行的首地址
    	int length;			//行数
    }allindex;
    
    int getLine(char *path)
    {
    	int line = 0;
    	FILE *pfr = fopen(path, "rb");
    	if (pfr == NULL)
    	{
    		printf("文件打开失败！\n");
    		return -1;
    	}
    	else
    	{
    		while (!feof(pfr))
    		{
    			char str[256] = { 0 };
    			fgets(str, 256, pfr);
    			line++;
    		}
    		fclose(pfr);
    	}
    	return line;
    }
    
    //初始化数据
    void initindex(char *path)
    {
    	printf("索引数组开始分配...\n");
    	allindex.length = getLine(path);
    	allindex.pindex = calloc(N, sizeof(int));		//开辟内存空间
    	printf("索引数组完成分配。\n");
    
    	printf("开始读取...\n");
    	FILE *pfr = fopen(path, "rb");
    	FILE *pfw = fopen(index, "wb");	//索引文件
    	if (pfr == NULL || pfw == NULL)
    	{
    		printf("文件打开失败！\n");
    		return;
    	}
    	else
    	{
    		int alllength = 0;
    		int i = 0;
    		while (!feof(pfr))
    		{
    			char str[256] = { 0 };
    			fgets(str, 256, pfr);
    			//记录每行数据所占用的长度，方便后面指针查询的跳转
    			allindex.pindex[i] = alllength;			
    
    			int length = strlen(str);
    			alllength += length;
    
    			i++;
    		}
    		fclose(pfr);
    	}
    	printf("结束读取...\n");
    
    	//把索引写入到文件中
    	printf("索引写入...\n");
    	fwrite(allindex.pindex, sizeof(int), allindex.length, pfw);
    	
    	fclose(pfw);
    	printf("索引写入结束。\n");
    
    	//释放内存
    	//free(allindex.pindex);
    
    	/*printf("开始读取...\n");
    	FILE *pfr1 = fopen("E:\\qqindex.txt", "rb");
    	fread(allindex.pindex, sizeof(int), allindex.length, pfr1);
    	fclose(pfr1);
    	printf("结束读取...\n");*/
    }
    
    //快速读取,就是建立好索引文件后，直接读取索引文件
    void qucik(char *path)
    {
    	printf("索引数组开始分配...\n");
    	allindex.length = getLine(path);
    	allindex.pindex = calloc(N, sizeof(int));		//开辟内存空间
    	printf("索引数组完成分配。\n");
    
    	printf("开始读取...\n");
    	FILE *pfr1 = fopen("E:\\qqindex.txt", "rb");
    	fread(allindex.pindex, sizeof(int), allindex.length, pfr1);
    	fclose(pfr1);
    	printf("结束读取...\n");
    }
    
    
    
    void main1()
    {
    	//int line = getLine(path);
    	//printf("%d\n", line);
    
    	initindex(path);   //初始化
    	//qucik(path);		//这是在上面的 初始化 后有了索引文件后可以这样快速执行。
    
    	FILE *pfr = fopen(path, "rb");
    	
    	while (1)
    	{
    		printf("\n请输入要读取的行数：");
    		int num = 0;
    		scanf("%d", &num);
    		
    		fseek(pfr, allindex.pindex[num], SEEK_SET);
    		char str[256] = { 0 };
    		fgets(str, 256, pfr);
    		printf("%s\n", str);
    	}
    	
    		fclose(pfr);
    
    	system("pause");
    }
    
    // 因为索引文件保存的是int 数组，而数据排列是线性的，即每个数据所占的空间大小都一样。
    //这时可以按指针移动，来跳到索引处（因为每个索行保存的每行数据的首地址），这时读出
    //索引的值，然后再移动数据指针到相应的文件处，读出其中的 数据，这样可以使用较小的
    //内存，可以完成对大数据的查询。不过首先要建立好索引。
    
    void main()
    {
    	FILE *pf1 = fopen(path, "rb");//数据文件
    	FILE *pf2 = fopen(index, "rb");//索引文件
    
    	if (pf1 == NULL || pf2 == NULL)
    	{
    		printf("文件打开失败！\n");
    		return;
    	}
    	while (1)
    	{
    		printf("\n请输入要读取的行数：");
    		int num = 0;
    		scanf("%d", &num);
    		int index =0;
    		fseek(pf2,num*sizeof(int) , SEEK_SET);	//移动指针在索引文件中查询
    		fread(&index, sizeof(int), 1, pf2);		//读出索引文件的值。
    
    
    		fseek(pf1, index, SEEK_SET);
    		char str[256] = { 0 };
    		fgets(str, 256, pf1);
    		printf("%s\n", str);
    	}
    
    	fclose(pf1);
    	fclose(pf2);
    }