Google Colab 使用教程(1)

川长思鸟来 2022-09-03 15:14 268阅读 0赞

# [Google Colab免费GPU使用教程（一）][Google Colab_GPU] #

##  ##

!cd /content/YOLOv5_with_BiFPN
    !pwd
    !cd YOLOv5_with_BiFPN
    !ls

## 一、前言 ##

现在你可以开发Deep Learning Applications在[Google Colaboratory][]，它自带免费的Tesla K80 GPU。重点是免费、免费！（国内可能需要tz）

##  ##

[![30ada0f5207c6388929f7f9ae3cbec4b.png][]][30ada0f5207c6388929f7f9ae3cbec4b.png 1]

这个GPU好像不便宜，amazon上1769刀.

[![1910e6cbeac61fa78dba44902e509f17.png][]][1910e6cbeac61fa78dba44902e509f17.png 1]

## 二、什么是Google Colab? ##

*  Colaboratory 是一个 Google 研究项目，旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境，不需要进行任何设置就可以使用，并且完全在云端运行。
 *  Colaboratory 笔记本存储在 Google 云端硬盘中，并且可以共享，就如同您使用 Google 文档或表格一样。Colaboratory 可免费使用。
 *  利用Colaboratory ，可以方便的使用Keras,TensorFlow,PyTorch,OpenCV等框架进行深度学习应用的开发。

与其它云服务相比，最重要的特点是Colab提供GPU并完全免费.详细介绍可见[faq page][].

##  ##

## 三、开始使用 ##

### 3.1在谷歌云盘上创建文件夹 ###

当登录账号进入[谷歌云盘][Link 1]时，系统会给予15G免费空间大小。由于Colab需要依靠谷歌云盘，故需要在云盘上新建一个文件夹。

比如，我建立一个名为app的文件夹：

[![6788e7505443236c7c83419f26e4efac.png][]][6788e7505443236c7c83419f26e4efac.png 1]

[![ad9f398ecd9f0fc19adbbc3d9783eb85.png][]][ad9f398ecd9f0fc19adbbc3d9783eb85.png 1]

### 3.2创建一个新的Colab Notebook ###

在文件夹内的空白处右键 -> 更多 -> Colaboratory

[![c2dd793b8eec6f1168f23a9d3dd31b77.png][]][c2dd793b8eec6f1168f23a9d3dd31b77.png 1]

点击文件名可以重命名文件：

[![5859708f556297254f6e907eaf333ab9.png][]][5859708f556297254f6e907eaf333ab9.png 1]

###  3.3 设置免费的GPU ###

它是很容易更换默认的硬件（None,GPU,TPU），通过 修改->笔记本设置或者代码执行程序->更改运行时类型来选择GPU，作为硬件加速.

[![ea13ca433be5a22ba1c4f4e686a08da5.png][]][ea13ca433be5a22ba1c4f4e686a08da5.png 1]

###  3.4 测试——运行基本的Python代码 ###

创建完之后，会自动生成一个jupyter笔记本，就可以直接在这里面编写和运行代码了.

我将运行一些基本的数据类型代码，来自于[Python Numpy Tutorial.][]

[![d3ab576877202619ff8eb64c01f352c1.png][]][d3ab576877202619ff8eb64c01f352c1.png 1]

###  3.5授权与安装 ###

首先运行下面的代码来安装必要的库和授权.

from google.colab import drive
    drive.mount('/content/drive/')

当你运行上面的代码(挂载云端硬盘)，应该会看到如下的结果：

[![2c1e809c7fc2eb230f7b8e139f269d7b.png][]][2c1e809c7fc2eb230f7b8e139f269d7b.png 1]

点击链接，复制验证码，粘贴到输入框.在完成授权过程之后，你应该会看到这样：

[![ec88821055a4222a54e3de967b6c4e2d.png][]][ec88821055a4222a54e3de967b6c4e2d.png 1]

现在，你可以使用如下命令进入Google Drive：

!ls "/content/drive/My Drive/"

其实进一步查看，发现这是一个linux虚拟机：

!cd /
    !ls

[![f613b22037354f801b5520f7ced0270b.png][]][f613b22037354f801b5520f7ced0270b.png 1]

### 3.6运行.py代码 ###

安装Keras

!pip install -q keras

上传[minst\_cnn.py][minst_cnn.py] file到你的Google Drive中的app文件夹.

[![d30890f3ba6b68ffbf7d5f769cca2cbe.png][]][d30890f3ba6b68ffbf7d5f769cca2cbe.png 1]

运行下面代码来训练基于[MINST\_dataset][MINST_dataset]的一个简单的卷积神经网络：

!python3 "/content/drive/My Drive/app/mnist_cnn.py"

[![94cbec70c0225536e1cecf059b40bede.png][]][94cbec70c0225536e1cecf059b40bede.png 1]

[![5ccd6e9ea22c735ffed566fb4732db48.png][]][5ccd6e9ea22c735ffed566fb4732db48.png 1]

正如你看见的，每个epoch仅仅需要8s.

据某位大佬的[博客][Link 2]所说：

[![1582c13acf7cfd7f8f37ecf7bd01a0d8.png][]][1582c13acf7cfd7f8f37ecf7bd01a0d8.png 1]

每个率每个Epoch大概需要130s+完成

[![7fa9cbbaafea7623ff39667bdc6a9fc2.png][]][7fa9cbbaafea7623ff39667bdc6a9fc2.png 1]

##  ##

## 四、相关命令 ##

（1）查看是否使用GPU

import tensorflow as tf
    import tensorflow as tf

（2）在使用哪个GPU

from tensorflow.python.client import device_lib
    device_lib.list_local_devices()

（3）RAM大小

!cat /proc/meminfo

参考链接：

1、*[https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d][https_medium.com_deep-learning-turkey_google-colab-free-gpu-tutorial-e113627b9f5d]*

2、*[https://www.cnblogs.com/infaraway/p/8372881.html][https_www.cnblogs.com_infaraway_p_8372881.html]*

个性签名：时间会解决一切

[Google Colab_GPU]: https://www.cnblogs.com/lfri/p/10471852.html
[Google Colaboratory]: https://colab.research.google.com/
[30ada0f5207c6388929f7f9ae3cbec4b.png]: /images/20220829/9e92d7b7c3fc4f948c5462f64412a00e.png
[30ada0f5207c6388929f7f9ae3cbec4b.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190305101839516-586235322.png
[1910e6cbeac61fa78dba44902e509f17.png]: /images/20220829/b9ed116989654d95ad774d1838a152aa.png
[1910e6cbeac61fa78dba44902e509f17.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190305102107364-848019074.png
[faq page]: https://research.google.com/colaboratory/faq.html
[Link 1]: https://drive.google.com/drive/my-drive
[6788e7505443236c7c83419f26e4efac.png]: /images/20220829/3ef25d8a03164eb58251900a8cbd32ac.png
[6788e7505443236c7c83419f26e4efac.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304191210427-1458581037.png
[ad9f398ecd9f0fc19adbbc3d9783eb85.png]: /images/20220829/14da98abd2704440b14a19d161617b4f.png
[ad9f398ecd9f0fc19adbbc3d9783eb85.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304191405800-2067765217.png
[c2dd793b8eec6f1168f23a9d3dd31b77.png]: /images/20220829/9e8150bc58654d8abcb89e8d9a32243e.png
[c2dd793b8eec6f1168f23a9d3dd31b77.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304191741122-813765853.png
[5859708f556297254f6e907eaf333ab9.png]: /images/20220829/1a383efa40fc427998876ddcf199c3e1.png
[5859708f556297254f6e907eaf333ab9.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304192120908-241204895.png
[ea13ca433be5a22ba1c4f4e686a08da5.png]: /images/20220829/4a1759f19d4d43f48a392fbd9e178cdb.png
[ea13ca433be5a22ba1c4f4e686a08da5.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304192811034-2061994118.png
[Python Numpy Tutorial.]: http://cs231n.github.io/python-numpy-tutorial/
[d3ab576877202619ff8eb64c01f352c1.png]: /images/20220829/f94e8af935d7464380f49d0200b47dee.png
[d3ab576877202619ff8eb64c01f352c1.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304201812228-1675325658.png
[2c1e809c7fc2eb230f7b8e139f269d7b.png]: /images/20220829/72bff10a2afc4045a344366783fcd3d0.png
[2c1e809c7fc2eb230f7b8e139f269d7b.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304223056850-789951448.png
[ec88821055a4222a54e3de967b6c4e2d.png]: /images/20220829/7c953d907c5f48e59bb2d0ae53cd680e.png
[ec88821055a4222a54e3de967b6c4e2d.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304223226556-61197480.png
[f613b22037354f801b5520f7ced0270b.png]: /images/20220829/f4ec6cf7732045dfa9539c49043ca758.png
[f613b22037354f801b5520f7ced0270b.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304230011497-1693709429.png
[minst_cnn.py]: https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py
[d30890f3ba6b68ffbf7d5f769cca2cbe.png]: /images/20220829/8215910b72494968b9fb36ca37f90190.png
[d30890f3ba6b68ffbf7d5f769cca2cbe.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304232500257-2121261992.png
[MINST_dataset]: http://yann.lecun.com/exdb/mnist/
[94cbec70c0225536e1cecf059b40bede.png]: /images/20220829/bf22db33027c44fa9aacaa3b9ff98236.png
[94cbec70c0225536e1cecf059b40bede.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304232938133-2147139128.png
[5ccd6e9ea22c735ffed566fb4732db48.png]: /images/20220829/02648379696f42daa456946af173e151.png
[5ccd6e9ea22c735ffed566fb4732db48.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304233016621-1546980830.png
[Link 2]: https://www.cnblogs.com/lfri/p/%20%E8%80%8C%E6%88%91%E4%BB%AC%E4%BD%BF%E7%94%A8%E5%AE%9E%E9%AA%8C%E5%AE%A4%E7%9A%84%E5%B7%A5%E4%BD%9C%E7%AB%99
[1582c13acf7cfd7f8f37ecf7bd01a0d8.png]: /images/20220829/16ac853642a645598368f40059f8e87d.png
[1582c13acf7cfd7f8f37ecf7bd01a0d8.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304233651154-1877000480.png
[7fa9cbbaafea7623ff39667bdc6a9fc2.png]: /images/20220829/92915e9480da4b3e9c4ddb861baec4b7.png
[7fa9cbbaafea7623ff39667bdc6a9fc2.png 1]: https://img2018.cnblogs.com/blog/1365470/201903/1365470-20190304233712221-1148293693.png
[https_medium.com_deep-learning-turkey_google-colab-free-gpu-tutorial-e113627b9f5d]: https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
[https_www.cnblogs.com_infaraway_p_8372881.html]: https://www.cnblogs.com/infaraway/p/8372881.html