深度学习服务器简单用户使用指南

今天药忘吃喽~ 2022-11-05 03:15 289阅读 0赞

## 连接服务器 ##

### Windows ###

使用 **putty** 软件（或者其他SSH客户端软件）连接学校服务器

输入用户名及密码，请注意密码在输入时不会显示出来，输入完密码直接按回车键。

### Mac 系统或 Linux 系统 ###

使用 **ssh** 命令进行连接

## 文件上传下载 ##

### Windows ###

使用 WinSCP 进行连接。

## 环境配置 ##

### 下载和安装Anaconda ###

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
    bash ./Anaconda3-2020.11-Linux-x86_64.sh
    echo 'export PATH="~/anaconda3/bin:$PATH"'>>~/.bashrc

Anaconda自带**python3.8**和**pip**

### 安装 cuda9.0 、nccl2.5.6和 cudnn7.6.5 ###

#### 下载 cuda9.0 ####

CUDA（Compute Unified Device Architecture），是NVIDIA推出的运算平台。

wget https://developer.nvidia.com/compute/cuda/9.0/Prod/local_installers/cuda_9.0.176_384.81_linux-run

> 由于服务器显卡驱动（396.26）限制，只能安装cuda9.0
> 
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzI3Mjc4MQ_size_16_color_FFFFFF_t_70_pic_center]

#### 下载 nccl2.5.6 ####

NVIDIA NCCL（NVIDIA Collective Communication Library），NVIDIA多GPU通信库。

下载地址：https://developer.nvidia.com/nccl/nccl-legacy-downloads

需要注册英伟达会员，下载后上传到【~】目录下

#### 下载 cudnn7.6.5 ####

NVIDIA cuDNN（NVIDIA CUDA® Deep Neural Network library）是NVIDIA专门针对深度神经网络（Deep Neural Networks）中的基础操作而设计基于GPU的加速库。

需要去英伟达官网（https://developer.nvidia.com/rdp/cudnn-archive）下载，需要注册英伟达会员，下载后上传到【~】目录下

> 由于cuda9.0限制，只能安装cudnn7.6.5
> 
> 部分框架(如：PaddlePaddle)可能存在安装V1中7.0.5版本无法使用的情况。
> 
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzI3Mjc4MQ_size_16_color_FFFFFF_t_70_pic_center 1]

#### 授权 ####

授予执行权

chmod +x cuda_9.0.176_384.81_linux-run

#### 安装 cuda9.0 ####

sh cuda_9.0.176_384.81_linux-run

> cuda9.0 的安装
> 
> 在协议中选择同意（**accept**）,
> 
> 不安装driver installation（**no**）,
> 
> 选择cuda个人用户的目录: 【**~/cuda-9.0**】,以及cuda samples的目录: 【 **~/cuda-9.0/Samples**】

#### 测试 cuda9.0 安装是否成功 ####

cuda nvcc –V
    cd cuda-9.0/samples/1_Utilities/deviceQuery
    make
    ./deviceQuery

#### 安装 nccl2.5.6 ####

> nccl的安装压缩包在前面已经上传到服务器上了

tar -xvf nccl_2.5.6-1+cuda9.0_x86_64.txz
    cp nccl_2.5.6-1+cuda9.0_x86_64/include/nccl.h cuda-9.0/include/
    cp nccl_2.5.6-1+cuda9.0_x86_64/lib/libnccl* cuda-9.0/lib64/
    chmod a+r cuda-9.0/include/nccl.h cuda-9.0/lib64/libnccl*

#### 安装 cudnn7.6.5 ####

> cudnn的安装压缩包在前面已经上传到服务器上了

tar -xzvf cudnn-9.0-linux-x64-v7.6.5.32.tgz
    cp cuda/include/cudnn.h cuda-9.0/include/
    cp cuda/lib64/libcudnn* cuda-9.0/lib64
    chmod a+r cuda-9.0/include/cudnn.h cuda-9.0/lib64/libcudnn*

#### 修改个人用户的环境变量 ####

vim ~/.bashrc

添加两条命令

export PATH="~/cuda-9.0/bin:$PATH" 
    export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:$HOME/cuda-9.0/lib64/"

使环境变量生效

source  ~/.bashrc

### 安装 tensorflow-gpu ###

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ --upgrade tensorflow-gpu==1.6

测试环境配置是否成功

import tensorflow as tf
    x = tf.nn.conv2d(tf.ones([1,1,10,1]), tf.ones([1,5,1,1]), strides=[1,1,1,1], padding='SAME')  
    with tf.Session() as sess:
    	sess.run(x)
    # this should output a tensor of shape (1,1,10,1) with [3,4,5,5,5,5,5,5,4,3]

## 激活Anaconda默认环境 ##

> 其实不激活也可以的。

conda activate base

## 训练神经网络模型 ##

首先使用 **nvidia-smi** 命令查看 gpu 使用情况

nvidia-smi

选择未被占用满的 GPU 进行训练，可以适当调整 batch size，从而让网络模型在显存剩余较少的显卡上训练。

> 如果你的网络模型中有 batch norm，batch size 的大小不同会影响训练的结果，请谨慎选择。

在运行训练代码时，一定要使用 CUDA\_VISIBLE\_DEVICES=\{指定 GPU 的 id\} 运行，指定使用哪块 GPU！！！如果不指定 GPU，将会将所有 GPU 运行起来，这样别人也无法使 用 GPU。

## 注意事项 ##

1.  在使用**CUDA\_VISIBLE\_DEVICES**命令之后，**tensorflow**的**with tf.device** 将会看不到
    
    8块GPU，所以\*\*with tf.device（/gpu:7）\*\*会失效。
2.  当发现有同一个进程占用多个GPU时，应该是同学错误地将多个GPU运行起来，这样占用资源会导致别的同学无法使用GPU，请使用*top -p*进程id来查看进程所有者（如*top -p 399904*），并通知张巧灵老师，让该同学关闭进程，使用正确的方式使用服务器。

top -p 399904

1.  如果数据集过大，【**/home**】目录下空间不足，可以将数据集上传到【**/tmp**】目录下，但是请**注意该目录会定时清理。**
2.  使用 *df -m* 查看服务器硬盘剩余容量，如果不小心把【**/home**】目录下占满了，是要重启服务器的。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzI3Mjc4MQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221023/977c19654e1d462cbfe847955b80a2e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzI3Mjc4MQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221023/2d09180f017a47a78948dd541f029847.png