python redis读写报错：Broken Pipe Error Redis

我就是我 2021-09-27 12:38 621阅读 0赞

问题：

将较大文件利用python 的redis包set,get时报错：

BrokenPipeError: [Errno 32] Broken pipe
    
    redis.exceptions.ConnectionError: Error 104 while writing to socket. Connection reset by peer.

原因：

set或get数据时，数据过大，则会报以上错误。

Redis' String data type can be at most 512MB

解决方式：

利用split命令将大文件分割为较小文件：

方法1：指定分割后文件行数

通过指定分割后文件的行数来进行文件分割。

split -l 100000 online_discount_end2018-09-26 online_discount_end2018-09-26split

分割后效果，将75兆大小文件（1392082 行），按每个文件100000行分割：

$ wc -l online_discount_end2018-09-26*
      1392082 online_discount_end2018-09-26
       100000 online_discount_end2018-09-26splitaa
       100000 online_discount_end2018-09-26splitab
       100000 online_discount_end2018-09-26splitac
       100000 online_discount_end2018-09-26splitad
       100000 online_discount_end2018-09-26splitae
       100000 online_discount_end2018-09-26splitaf
       100000 online_discount_end2018-09-26splitag
       100000 online_discount_end2018-09-26splitah
       100000 online_discount_end2018-09-26splitai
       100000 online_discount_end2018-09-26splitaj
       100000 online_discount_end2018-09-26splitak
       100000 online_discount_end2018-09-26splital
       100000 online_discount_end2018-09-26splitam
        92082 online_discount_end2018-09-26splitan
      2784164 total

其中后缀aa,ab,,,都是自动生成。

方法2：指定分割后文件大小

split -b 5m online_discount_end2018-09-26 online_discount_end2018-09-26split

参考：

1.  [broken-pipe-error-redis][]
2.  [http://blog.sina.com.cn/s/blog\_4dd4753901017jwj.html][http_blog.sina.com.cn_s_blog_4dd4753901017jwj.html]

[broken-pipe-error-redis]: https://stackoverflow.com/questions/43204496/broken-pipe-error-redis
[http_blog.sina.com.cn_s_blog_4dd4753901017jwj.html]: http://blog.sina.com.cn/s/blog_4dd4753901017jwj.html