google colab 免费使用GPU

一时失言乱红尘 2022-05-27 12:50 370阅读 0赞

# google colab 免费使用GPU #

最近在做brain segmentation的调研，公司的显卡没到，一台笔记本只有3G的显存，跑一个3d的networks就资源耗尽。刚好听说了google有免费的显卡Tesla K80，2599美元一块，还很难买到，于是就开始尝试一番。结果等好不容易把自己demo环境部署好了，运行中发现资源耗尽，运行命令查看cpu 内存上线268M、gpu内存上限358M，浪费了精力。但是呢？对于日常的小任务数据还是可以用colab GPU，故写一篇文章记录一下。

--------------------

## 一、准备 ##

在Google Drive上创建文件夹   
![这里写图片描述][SouthEast]   
Colab用的数据都存储在Google Drive云端硬盘上，所以，我们需要先指定要在Google Drive上用的文件夹，比如说，可以在Google Drive上创建一个“app”文件夹，或者其他什么名字，也可以选择Colab笔记本默认的文件夹。

![这里写图片描述][SouthEast 1]

新建Colab笔记本   
在刚刚创建的app文件夹里点击右键，选择“More”，然后从菜单里选择“Colaboratory”，这样就新建出了一个Colab笔记本。

![这里写图片描述][SouthEast 2]   
点击笔记本的名字，可以重命名   
![这里写图片描述][SouthEast 3]

## 二、设置免费GPU ##

这一步，要改变笔记本所用的默认硬件。在笔记本里点Edit>Notebook settings（编辑>笔记本设置），或者Runtime>Change runtime type（运行时>改变运行时类型），然后在Hardware accelerator（硬件加速器）一栏选择GPU。   
![这里写图片描述][SouthEast 4]   
然后，Google Colab就可以用了。

## 三、查看GPU、CPU情况 ##

查看GPU是否在colab中

import tensorflow as tf
    tf.test.gpu_device_name()

*  1
 *  2

如果结果为空，则不能使用GPU，如果结果为/device:GPU:0

使用`!/opt/bin/nvidia-smi`查看显存情况   
![这里写图片描述][SouthEast 5]   
查看显卡内存使用上限

from tensorflow.python.client import device_lib
    device_lib.list_local_devices()

*  1
 *  2

![这里写图片描述][SouthEast 6]

其他见六

## 四、挂载google drive（也就是google网盘） ##

先挂载你google drive里的工作文件夹，才能你文件夹里的文件

在笔记本里先运行下面这些代码，来安装必要的库、执行授权

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
    !add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
    !apt-get update -qq 2>&1 > /dev/null
    !apt-get -y install -qq google-drive-ocamlfuse fuse
    from google.colab import auth
    auth.authenticate_user()
    from oauth2client.client import GoogleCredentials
    creds = GoogleCredentials.get_application_default()
    import getpass
    !google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
    vcode = getpass.getpass()
    !echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12

运行的时候应该会看到下图所示的结果：   
![这里写图片描述][SouthEast 7]   
看见那个链接之后，点击它，复制验证码并粘贴到文本框里。

授权完成后，就可以挂载Google Drive了：

!mkdir -p drive
    !google-drive-ocamlfuse drive

*  1
 *  2

## 五、clolab笔记本的使用 ##

*  install

!pip install -q keras
    import keras

*  1
 *  2

*  uninstall

!pip uninstall -y keras 
    # 注意这儿用-y是因为，google笔记本只会显示结果不能输入，因此避免安装过程中需要你输入yes什么的

*  1
 *  2

*  改变目录

# 注意不能用!cd ../
    !pwd
    import os
    os.chdir('../')
    !pwd

*  1
 *  2
 *  3
 *  4
 *  5

*  git clone

!git clone https://github.com/wxs/keras-mnist-tutorial.git

*  1

*  下载数据

!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive/app

*  1

*  查看内存信息

!cat /proc/meminfo

*  1

*  查看CPU信息

!cat /proc/cpuinfo

*  1

## 六、运行一个事例 ##

安装Keras:

!pip install -q keras

*  可以运行以下代码来看看你是否挂载文件夹成功：
 *  !pwd  
    import os  
    os.chdir('../drive/app')  
    !pwd  
    !ls  
    
 *  ![70][]  
    
 *

上传文件[mnist\_cnn.py][mnist_cnn.py] 到你的google drive中的app文件夹中，文件内容如下   
![这里写图片描述][SouthEast 8]   
用MINIST dataset训练一个简单的卷积神经网络

`!python3 drive/app/mnist_cnn.py` 参考别人的教程一直会提示没有对应的路径和文件夹

!python3 /drive/app/mnist\_cnn.py **应该是从根目录下开始**

运行结果如下：   
![这里写图片描述][SouthEast 9]

1.  参考[https://blog.csdn.net/linhai1028/article/details/79275945][https_blog.csdn.net_linhai1028_article_details_79275945]

--------------------

## 参考资料 ##

1.  [Google Colab Free GPU Tutorial][]

1.  [薅资本主义羊毛，用Google免费GPU][Google_GPU]

[SouthEast]: /images/20220527/48f86cfddd28410a9f7cdd8e6740111a.png
[SouthEast 1]: /images/20220527/d13d41c5bbc0438b89e9c3d4e7e1c9b0.png
[SouthEast 2]: /images/20220527/1c5b210d55db45b78a6ecc9a4439606e.png
[SouthEast 3]: /images/20220527/572639d870fb4635a9d4c6e9f223ae17.png
[SouthEast 4]: /images/20220527/f2d8f4cba0934c2b9637cad429535954.png
[SouthEast 5]: /images/20220527/65d017ef14ac4989890981103007342d.png
[SouthEast 6]: /images/20220527/624b6734cb04410ca6fa2f6b6bd65590.png
[SouthEast 7]: /images/20220527/10f3bcde53a5493ebe3a184c307e1651.png
[70]: /images/20220527/ce990f8dfe68404baefad60aab4422c1.png
[mnist_cnn.py]: https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py
[SouthEast 8]: /images/20220527/743ee80cd4264ad98e2dca26776d1fe3.png
[SouthEast 9]: /images/20220527/5306732052ea4f5a872d9f92123b9c64.png
[https_blog.csdn.net_linhai1028_article_details_79275945]: https://blog.csdn.net/linhai1028/article/details/79275945
[Google Colab Free GPU Tutorial]: https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
[Google_GPU]: https://zhuanlan.zhihu.com/p/33344222