解决 failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILED

短命女 2023-07-26 05:26 8阅读 0赞

### 跑tensorflow项目时遇到了该问题 ###

*   *  计算机配置
     *  （方法一）针对有人说是还有其他程序占用着GPU
     *  CUDA问题
     *  更新
     *  参考文章

## 计算机配置 ##

RTX2080 super，ubuntu16.04，tensorflow-gpu1.8，cuda9.0，cudnn7.6.4

## （方法一）针对有人说是还有其他程序占用着GPU ##

报错信息（贴出最主要的两条）：

tensorflow.python.framework.errors_impl.InternalError: Failed to create session

failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILED

#判断显存占用，报错并关闭session
    if 'session' in locals() and session is not None:
        print('Close interactive session')
        session.close()

或者

#分配显存
    import os
    os.environ["CUDA_VISIBLE_DEVICES"] = '0' #use GPU with ID=0
    config = tf.ConfigProto()
    config.gpu_options.per_process_gpu_memory_fraction = 0.5 # maximun alloc gpu50% of MEM
    config.gpu_options.allow_growth = True #allocate dynamically

但是结果还是报错，其实之前已经用

nvidia-smi

查看了显卡信息，是没有其他程序运行的，于是又查了下相关资料

## CUDA问题 ##

上边已经介绍了环境配置，其实问题就出在这里，当初下载CUDA的时候，只下载安装了CUDA9.0，而没有安装其升级包，这其实也是CUDA自己的问题，后边出了最新的更新包，升级CUDA9.0到最新就解决了该问题。你如果下载不来，可以从[此处下载][Link 1]，提取码：3a0s。

## 更新 ##

这个问题主要还是显卡，显卡驱动以及tensorflow不匹配导致的，可以参考官网，版本对应：  
[tensorflow][]  
[显卡驱动][Link 2]  
对应起来，应该就没什么问题了

## 参考文章 ##

\[1\][https://blog.csdn.net/sinat\_30372583/article/details/79461468][https_blog.csdn.net_sinat_30372583_article_details_79461468]  
\[2\][https://blog.csdn.net/thunder\_k/article/details/90610218?depth\_1-utm\_source=distribute.pc\_relevant.none-task-blog-BlogCommendFromBaidu-1&utm\_source=distribute.pc\_relevant.none-task-blog-BlogCommendFromBaidu-1][https_blog.csdn.net_thunder_k_article_details_90610218_depth_1-utm_source_distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1_utm_source_distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1]

[Link 1]: https://pan.baidu.com/s/17H6l96jbYtHo_b7ANxvS-A
[tensorflow]: https://tensorflow.google.cn/install/source
[Link 2]: https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
[https_blog.csdn.net_sinat_30372583_article_details_79461468]: https://blog.csdn.net/sinat_30372583/article/details/79461468
[https_blog.csdn.net_thunder_k_article_details_90610218_depth_1-utm_source_distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1_utm_source_distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1]: https://blog.csdn.net/thunder_k/article/details/90610218?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1