磁盘空间不足导致zookeeper宕机

待我称王封你为后i 2022-02-24 05:22 658阅读 0赞

## 楔子 ##

某服务需要使用Zookeeper作为配置管理和服务注册与发现，今天突然发现服务不可用，病症就是无法连接zk,服务不断的重试，报如下的错误。（zk版本为3.4.10 单机部署）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qaWVuaXlpbWlhby5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]

## 定位 ##

使用`df -Th`查看文件的使用情况 , 发现磁盘空间满了，使用`du -sh *`查看当前目录下各个文件及目录占用空间大小 ，发现有个日志文件占据了195G， oh my god!  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qaWVuaXlpbWlhby5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]  
果断删除该文件。然后重启zk,依然不能重启，查看zk得日志，发现如下的报错信息：

ERROR org.apache.zookeeper.server.persistence.Util: Last transaction was partial.

意思就是由于磁盘空间满了导致Zookeeper的最后一次事务性操作不完整导致无法重启。则么办？

先查看zk的配置文件，查看`dataLogDir`的目录，如下：  
![在这里插入图片描述][20190403102026547.png]  
进入到该目录的`version-2`目录下，把大小为0（异常的）日志全部删除掉，文中已删除，然后就可重启成功，但是最后一个事务操作可能会破坏或者丢失。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qaWVuaXlpbWlhby5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]  
结果如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qaWVuaXlpbWlhby5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qaWVuaXlpbWlhby5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20220224/77a3ce2d567b47fa87caebe53ef4015e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qaWVuaXlpbWlhby5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: /images/20220224/6d7101d6ad5645819a428e21a8203ba7.png
[20190403102026547.png]: /images/20220224/db8255dab60541db9c80dc35e0564b14.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qaWVuaXlpbWlhby5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: /images/20220224/c91ce870592d49468e452f4c5e34f305.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9qaWVuaXlpbWlhby5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: /images/20220224/2153f3511f904720bc7b95324e17a12e.png