【Deepin 20系统】解决Check failed: err == cudaSuccess || err == cudaErrorInvalidValue Unexpected CUDA erro

绝地灬酷狼 2022-10-23 08:25 126阅读 0赞

问题

环境

Nvidia RTX 2070
Tensorflow 2

在利用GPU运行了程序。中断重新运行程序，就会报错,GPU内存不够，显然是被占用了
F tensorflow/stream_executor/cuda/cuda_driver.cc:175] Check failed: err == cudaSuccess || err == cudaErrorInvalidValue Unexpected CUDA error: out of memory

解决办法

因为程序虽然没有运行了，但进程还在后台运行的，占用着GPU的。可以通过杀死进程为GPU腾出内存空间来。或者重启设备即可
（1）解决办法一：杀死进程

  1. sudo fuser -v /dev/nvidia*

查看当前占用GPU的进程,可以看到两个Python进程占着Nvidia显卡
在这里插入图片描述
杀死进程

  1. sudo kill -9 9388
  2. sudo kill -9 5944

（2）解决办法二：多个GPU的话，可以通过命令重启占用的显卡

  1. nvidia-smi --gpu-reset

（3）解决办法三：重启设配

发表评论

表情：
评论列表 （有 0 条评论，126人围观）

还没有评论，来说两句吧...

相关阅读