Linux异常进程kill无效的解决办法

港控/mmm° 2022-11-15 03:49 488阅读 1赞

# 问题描述 #

在多人共用服务器的时候，发现GPU服务器上始终有一个进程。该进程一直在占用系统资源，并且无法被kill掉，kill掉会自动重启。该进程一直伪装为正常使用GPU的普通进程，具体细节如下所示：  
![在这里插入图片描述][20210330214615207.png]

# 排查思路 #

**1. 直接kill掉该进程**

在确定所有人都未使用该机器，而机器仍然持续占用资源后。第一尝试思路为杀死进程。结果，一会儿该进程就自动重启了。

**2. kill掉该进程并重启**

尝试直接杀死进程，并重启该进程。结果，重启后，该进程依然正常使用

**3. 查看电脑是否曾经被入侵，中病毒了。**  
使用`lastb`命令查看过往服务器登录记录，发现该服务器在过去几天中，被人尝试暴力破解。该破解过程似乎在穷举所有的用户名和密码，尝试登录，如下所示。  
![在这里插入图片描述][20210330215345180.png]  
**4. 删除启动文件**  
`ps -ef`发现异常进程给定的运行路径是假的，这个路径下并没有文件。  
![在这里插入图片描述][20210330215617503.png]  
**5. 寻找过去修改文件**  
通过find命令，查看过去几天之内修改的文件记录。如果被入侵了，那么必然有一些文件被变更了，并且这些文件大概率是和系统一起的相关文件。最终发现了一个异常的日志文件，以及相关异常程序。  
`find /usr/ -type f -mtime 3`  
![在这里插入图片描述][20210330220143989.png]

查看了下，相关的脚本。该程序会执行autorun脚本，进而实现了自动执行的效果。  
**6. 查看该进程的网络连接**  
使用`lsof`命令查看该进程打开的网络连接有哪些。

lsof -i -a -p  { }
    #{} 替换为你的异常进程ID

使用`ss`或者`netstat`命令查看该进程与哪些网络进行连接。

ss -tun

最终发现，该异常进程一直与下图中的网络进行连接。  
![在这里插入图片描述][20210330221354326.png]  
**7. 查看连接的IP地址是个啥？**  
经查询可知，该IP地址是CloudFlare的一个节点。  
![在这里插入图片描述][20210330221453652.png]  
那CloudFlare又是啥？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aTk1MTc1Mw_size_16_color_FFFFFF_t_70]  
**8. 结论**  
真的被攻击了。。。大概率是挖矿攻击

# 解决办法 #

[大佬解决方案][Link 1]  
跟着上面的大佬去解决的，目前只是把网络禁掉了。  
网络禁掉后，该程序并没有持续的消耗资源，而是卡在了建立网络连接这一阶段。只要不使用GPU就好（笑哭）。  
![在这里插入图片描述][20210330225015690.png]

后面准备重装系统，重装大法好。

[20210330214615207.png]: /images/20221022/79c2f872df61452988d9b6fb4fca8f42.png
[20210330215345180.png]: /images/20221022/9a9c5a5237a845fdbccfce1b5b61f292.png
[20210330215617503.png]: https://img-blog.csdnimg.cn/20210330215617503.png
[20210330220143989.png]: https://img-blog.csdnimg.cn/20210330220143989.png
[20210330221354326.png]: https://img-blog.csdnimg.cn/20210330221354326.png
[20210330221453652.png]: https://img-blog.csdnimg.cn/20210330221453652.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aTk1MTc1Mw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210330221642567.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1aTk1MTc1Mw==,size_16,color_FFFFFF,t_70
[Link 1]: https://www.cnblogs.com/tssc/p/9265528.html#_label2
[20210330225015690.png]: https://img-blog.csdnimg.cn/20210330225015690.png