解决 failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION

解决 failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILED

短命女 2023-07-26 05:26 104阅读 0赞

跑tensorflow项目时遇到了该问题

- 计算机配置
- （方法一）针对有人说是还有其他程序占用着GPU
- CUDA问题
- 更新
- 参考文章

计算机配置

RTX2080 super，ubuntu16.04，tensorflow-gpu1.8，cuda9.0，cudnn7.6.4

（方法一）针对有人说是还有其他程序占用着GPU

报错信息（贴出最主要的两条）：

tensorflow.python.framework.errors_impl.InternalError: Failed to create session
failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILED
#判断显存占用，报错并关闭session
if 'session' in locals() and session is not None:
    print('Close interactive session')
    session.close()

或者

#分配显存
import os
os.environ["CUDA_VISIBLE_DEVICES"] = '0' #use GPU with ID=0
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.5 # maximun alloc gpu50% of MEM
config.gpu_options.allow_growth = True #allocate dynamically

但是结果还是报错，其实之前已经用

nvidia-smi

查看了显卡信息，是没有其他程序运行的，于是又查了下相关资料

CUDA问题

上边已经介绍了环境配置，其实问题就出在这里，当初下载CUDA的时候，只下载安装了CUDA9.0，而没有安装其升级包，这其实也是CUDA自己的问题，后边出了最新的更新包，升级CUDA9.0到最新就解决了该问题。你如果下载不来，可以从此处下载，提取码：3a0s。

更新

这个问题主要还是显卡，显卡驱动以及tensorflow不匹配导致的，可以参考官网，版本对应：
tensorflow
显卡驱动
对应起来，应该就没什么问题了

参考文章

[1]https://blog.csdn.net/sinat_30372583/article/details/79461468
[2]https://blog.csdn.net/thunder_k/article/details/90610218?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1