PyTorch深度学习入门 Tensor基础 1.1 Tensor 8. CUDA加速

「爱情、让人受尽委屈。」 2024-03-27 16:47 127阅读 0赞

#### PyTorch深度学习入门 ####

![在这里插入图片描述][673b26322a554f6c8b272eb614868ad5.png_pic_center]

##### Tensor基础 #####

###### 8. CUDA加速 ######

在深度学习的训练过程中，经常需要庞大的计算量。用CPU进行数值计算的时间周期较长，难以立即得到计算结果。因此，在实际的深度学习训练过程中，我们通常会利用GPU进行加速运算。

使用GPU进行加速计算之前，先运行下面的代码查看计算机是否支持CUDA加速：

![在这里插入图片描述][3d94ba31b62d40f9a30c64fad2ce5589.png_pic_center]

这是作者本地机器，因为作者并没有安装CUDA、CUDNN 那套东西。

OK，看看服务器中的

![在这里插入图片描述][7f10266858f14d55be7a5a61d188478b.png_pic_center]

没问题

【对比CPU 和 GPU 的计算速度的差距】

用一个1000x10000 的矩阵 与 10000x10000 的矩阵相乘

CPU：

import torch
    from time import perf_counter
    
    X = torch.rand(1000, 10000)
    Y = torch.rand(10000, 10000)
    start = perf_counter()
    X.mm(Y)
    finish = perf_counter()
    time = finish - start
    print("CPU计算时间为: %s" % time)

![在这里插入图片描述][5e82ac9ea9614b618cdf4ad0db265d7d.png_pic_center]

GPU：

X = X.cuda()
    Y = Y.cuda()
    start = perf_counter()
    X.mm(Y)
    finish = perf_counter()
    time_cuda = finish - start
    print("GPU加速计算时间为: %s" % time_cuda)
    print("CPU计算时间是GPU加速计算时间的%s倍" % str(time / time_cuda))

![在这里插入图片描述][fba51c80bfe849fdae5d5c343db538e1.png_pic_center]

差别还是很明显的。

[673b26322a554f6c8b272eb614868ad5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0c1c1f3dbf0c40d598c024c25b2d44c0.png
[3d94ba31b62d40f9a30c64fad2ce5589.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/278c3a59b1a54da2862a79c910728464.png
[7f10266858f14d55be7a5a61d188478b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f40f33c8cd3b4ad2b27175584a0f4f16.png
[5e82ac9ea9614b618cdf4ad0db265d7d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/924a0914c79d4875bf3976861ba0e4ba.png
[fba51c80bfe849fdae5d5c343db538e1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/44044552868442c495e70ce6898d93c8.png