小内存处理1G或10G大小的log文件

蔚落 2022-04-03 10:12 377阅读 0赞

主要原理：大文件分割成小文件。split 分割文件命令

为了保证文件的完整性，要按行分割  
**wc -l test.log**   \#查看总共多少行  
可知81910500行， 分割成10M左右，81910500/102.4 约800000 行一个文件  
\#     按行  行数   文件名   后缀数字  后缀4位   前缀    
**split -l 800000 test.log -d       -a   4   test\_**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwNzEyMTE_size_16_color_FFFFFF_t_70][]

查看小文件即可  
less test\_0001  
**cat -n test\_0001 | grep 查找内容**

补充内容：  
1、快速生成1G大log文件  
首先我有约100k的小文件s.log，循环 10500次生成大约1G文件test.log。  
shell脚本内容如下：

touch test.log
    
    for((i=0;i<10500;i++))
    do
        cat s.log >> test.log
        echo "www.djlcx.cn" >>test.log
    done

2、split的使用  
\-b 按文件大小分割  
split -b 1M file      \#默认后缀是字母 xaa xab xac ...  
split -b 10k file -d -a 3   \#3位数字后缀  x000 x001 x002 ...  
split -b 10k file -d -a 3 split\_   \#指定前缀

3、合并文件  
cat test\_\* >t.log

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwNzEyMTE_size_16_color_FFFFFF_t_70]: /images/20220403/3c6882e6fcec4106b3eff7c85c88e0f1.png

发表评论取消回复

表情：

评论列表（有 0 条评论，377人围观）

还没有评论，来说两句吧...

相关阅读

相关联想小新笔记本，16G运行内存只能使用13.9G或14.9G的解决方案

1.问题描述我的电脑是联想小新Pro 16，一共有16G的运行内存，但实际情况只能使用13.9G，如下图所示 ![c3117454c3dd49ba9216a556ae

一时失言乱红尘/ 2023年09月27日 08:48/ 0 赞/ 169 阅读

相关 Java内存映射，上G大文件轻松处理

内存映射文件(Memory-mapped File)，指的是将一段虚拟内存逐字节映射于一个文件，使得应用程序处理文件如同访问主内存（但在真正使用到这些数据前却不会消耗物理内存，

Bertha 。/ 2023年08月17日 15:20/ 0 赞/ 129 阅读

相关只有1G内存，如何对10G的文件中数据进行排序

思考 1.归并、外排 2.多线程 RecursiveTask 测试生成文件代码 / @author dongsheng @da

谁践踏了优雅/ 2023年07月07日 03:34/ 0 赞/ 12 阅读

相关虚拟内存地址1G，2G，3G，4G

1G：1 00 0000 0000 00 0000 0000 00 0000 0000 （2^30） 2G: 10 00 0000 0000

落日映苍穹つ/ 2023年01月15日 11:26/ 0 赞/ 192 阅读

相关 OracleOraDb10g_home1TNSListener 被删除或丢失

OracleOraDb10g\_home1TNSListener 丢失： 1、打开注册表编辑器 cmd —— regedit 在 HKEY\_LOCAL

╰+攻爆jí腚メ/ 2022年08月11日 11:58/ 0 赞/ 11 阅读

相关 Java NIO内存映射---上G大文件处理

[林炳文Evankaka][Evankaka] 原创作品。转载请注明出处 [http://blog.csdn.net/evankaka][http_bl

港控/mmm°/ 2022年06月13日 06:42/ 0 赞/ 201 阅读

相关小内存处理1G或10G大小的log文件

主要原理：大文件分割成小文件。split 分割文件命令为了保证文件的完整性，要按行分割 wc -l test.log \查看总共多少行可知81910500行，

蔚落/ 2022年04月03日 10:12/ 0 赞/ 378 阅读

相关 oracle 11g 导入 10g

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 写道 expdp [user1/password@s

心已赠人/ 2022年01月16日 03:54/ 0 赞/ 346 阅读

相关 Oracle10g，11g alert文件位置

Oracle10g的 alert 文件位置在安装的oracle路径下（例如本例为C:\\oracle\\product\\10.2.0）中的admin 文件夹中，admin文件

电玩女神/ 2022年01月06日 01:33/ 0 赞/ 1286 阅读

相关 Java NIO内存映射---上G大文件处理

[林炳文Evankaka][Evankaka]原创作品。转载请注明出处[http://blog.csdn.net/evankaka][http_blog.c

雨点打透心脏的1/2处/ 2021年09月10日 14:48/ 0 赞/ 367 阅读