nvidia-smi not work [Error! Bad return status for module build on kernel]

青旅半醒 2022-12-11 07:46 118阅读 0赞

nvidia-smi not work \[Error! Bad return status for module build on kernel\]

1.  系统信息：

OS: ubuntu 18.04
    Kernal: 5.4.0-48-generic (x86_64)
    Nvidia driver: 450.51.06
    Nvidia card: 2080Ti

1.  昨天运行pytorch GPU程序的时候出错，提示：

No CUDA runtime is found, using CUDA_HOME='/usr/local/cuda'

执行`$nvidia-smi`命令也报错，提示：

NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

运行 `$nvcc --version`显示正常。程序和系统之前一切都是正常的，突然出现这个问题，感觉可能是安装其软件的时候更新了什么或是系统自动更新了。

1.  尝试了卸载驱动重新安装：

$ sudo apt purge nvidia-*
    $ sudo ppa-purge ppa:graphics-drivers/ppa
    $ sudo apt autoremove
    $ sudo apt auto-clean
    
    $ sudo add-apt-repository ppa:graphics-drivers/ppa
    $ sudo ubuntu-drivers autoinstall
    
    $ sudo reboot

一般在这一步就可以解决问题了。但是电脑重启之后运行`$nvidia-smi`还是同样的现象。

1.  仔细看安装过程的输出，发现在驱动安装过程中有一个不大引人注目的错误提示：

Loading new nvidia-450.51.06 DKMS files...
    Building for 5.4.0-48-generic
    Building for architecture x86_64
    Building initial module for 5.4.0-48-generic
    ERROR: Cannot create report: [Errno 17] File exists: '/var/crash/nvidia-kernel-source-450-server.0.crash'
    Error! Bad return status for module build on kernel: 5.4.0-48-generic (x86_64)
    Consult /var/lib/dkms/nvidia/450.51.06/build/make.log for more information.

1.  查看make.log文件，并没有明确给出错误信息，不过发现在很多头文件处报错，如：

/var/lib/dkms/nvidia/450.51.06/build/conftest/functions.h:11:2: error: #error acpi_walk_namespace() conftest failed!

怀疑可能是GCC的问题，因为之前手动设置过GCC的版本，同时也看到xanmod论坛上的一个相关的[帖子][Link 1]提到’the nvidia 440.3x module only compiles with versions >= gcc-8 for linux 5.4. Bionic the default is gcc-7’。 于是安装了gcc-8:

$sudo apt install gcc-8
    $sudo update-alternatives --config gcc
    
    $sudo update-alternatives --remove-all gcc
    $sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 10
    $sudo update-alternatives --install /usr/bin/cc cc /usr/bin/gcc-8 10

1.  重新安装驱动

$sudo dkms install -m nvidia -v 450.51.06
    $reboot

至此，`$nvidia-smi`命令恢复正常，之前的程序也可以正常运行了。

reference：  
https://medium.com/@sargupta/fix-nvidia-smi-not-working-3c040ac426b3  
https://forum.xanmod.org/thread-3635.html

[Link 1]: https://forum.xanmod.org/thread-3635.html