机器学习备注：Windows + Anaconda3 + pytorch

刺骨的言语ヽ痛彻心扉 2022-05-11 10:38 104阅读 0赞

### Anaconda的安装 ###

先说一下，windows的运行机抽和linux完全不一样，由于无法使用sudo等命令，权限检查显得十分怪异。所以安装时最好不要安装在C盘，我一般都**安装在D盘（如 D:/anaconda3）**。如果你一定要装在C盘，那么个别软件包有的时候conda执行起命令来可能会非常缓慢，甚至无缘无故中断（源码没去研究过，所以也不明所以，原因只能连懵带猜，也有可能是因为一些你懂的原因，谁知道呢，有时早上安装比晚上快很多）

下载网点在这里，选择适合自己的版本就好，不要下错了，里面有linux, windows, macOS等多种版本，  
[https://www.anaconda.com/distribution/][https_www.anaconda.com_distribution]  
[https://repo.anaconda.com/archive/Anaconda3-2018.12-Windows-x86\_64.exe][https_repo.anaconda.com_archive_Anaconda3-2018.12-Windows-x86_64.exe]  
[https://repo.anaconda.com/archive/Anaconda3-2018.12-Windows-x86.exe][https_repo.anaconda.com_archive_Anaconda3-2018.12-Windows-x86.exe]

### 保持更新的版本 ###

安装完后最好运行一次update命令，以保持所有更新一致性(参考：[https://github.com/conda/conda/issues/1414][https_github.com_conda_conda_issues_1414])。

conda update anaconda # run this code
    #-------------------------below code are for reference-------------------------
    #conda update conda
    #conda update --all

也可[\[参考\]][Link 1]，

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_16_color_FFFFFF_t_70][]

## 创建工作环境 ##

建议你弄个安装使用环境，如果你想把当前工作环境当成默认环境的话，当然你直接在conda的base环境下也行，我一般都会建立一个工作环境，如下，

conda create -n pytorch python=3.6
    activate pytorch

## 安装conda包 ##

一般情况下，下载和配置的速度都是不错的，anaconda做得很好。但如果你碰到比较卡顿的情况，那就试一下tuna镜像吧，地址在这里，里面列举了各种配置，包括诸多的三方源（这些不是必须的，本人也没有使用过，所以列在后面去了），  
[https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/][https_mirrors.tuna.tsinghua.edu.cn_help_anaconda]

镜像配置命令如下，

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --set show_channel_urls yes

如果你对配置感兴趣，还可以检查一下win10里的C:/Users/Administrator/.condarc文件。

安装时会问你要不要安装vscode，不要犹豫，装上就是了，很有用。

安装完了用命令升一下级（貌似不升也没啥事）

conda update -n base -c defaults conda

# #

## 本地安装conda包 ##

anaconda有时也会抽风，明明很容易下载下来的包，半天了就是装不上去，这时候你就手动到镜像或官网上去把这些包下载下来，然后手动一个个安装吧，

### **(1) pip 安装本地包** ###

pip install ~/Dowloads/opencv_contrib_python-4.0.0.21-cp37-cp37m-win_amd64.whl

说明：先把包下载下来，然后cd切换到包所在的文件夹，然后输入pip install <package-namge>.whl，

这里有个小窍门：只输入package前面一部分，然后按Tab键，剩余的名字就会自动给补全！接下来按回车，文件即可自动安装！

例如我的opencv就是这样安装的，该包的下载地址是: [opencv-contrib download][]：

>>> (torch) D:\\>pip install opencv\_contrib\_python-4.0.0.21-cp37-cp37m-win\_amd64.whl Processing d:\\opencv\_contrib\_python-4.0.0.21-cp37-cp37m-win\_amd64.whl  
Requirement already satisfied: numpy>=1.14.5 in d:\\anaconda3\\envs\\torch\\lib\\site-packages (from opencv-contrib-python==4.0.0.21) (1.15.4)  
Installing collected packages: opencv-contrib-python  
Successfully installed opencv-contrib-python-4.0.0.21

### (2) **conda 安装本地包** ###

conda install --use-local d:/downloads/pytorch-1.0.1-py3.7_cuda100_cudnn7_1.tar.bz2

手动安装 的话，我建议使用pip，conda本地安装是不会添加依赖的（参考：[https://github.com/conda/conda/issues/1884][https_github.com_conda_conda_issues_1884]）。

更多的本地安装方法，请参考后面专门说明。

## 几个Pytorch相关的链接 ##

在安装pytorch之前，如果你有cuda，最好在安装pytorch之前先安装cuda，配置了tuna镜像之后，安装过程如下，  
命令：conda install cudnn

conda install cudnn
    Solving environment: done
    ==> WARNING: A newer version of conda exists. <==
      current version: 4.5.12
      latest version: 4.6.2
    Please update conda by running
        $ conda update -n base -c defaults conda
    
    ## Package Plan ##
      environment location: d:\Anaconda3\envs\torch
      added / updated specs:
        - cudnn
    
    The following packages will be downloaded:
        package                    |            build
        ---------------------------|-----------------
        cudnn-7.3.1                |       cuda10.0_0       199.1 MB  https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
        cudatoolkit-10.0.130       |                0       371.0 MB  https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
        ------------------------------------------------------------
                                               Total:       570.1 MB
    
    The following NEW packages will be INSTALLED:
        cudatoolkit: 10.0.130-0       https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
        cudnn:       7.3.1-cuda10.0_0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

硬件相关的配置好就可以装pytorch了。

微软发布的AI 工具，可配合visual studio使用,　  
[https://docs.microsoft.com/en-us/visualstudio/ai/installation?view=vs-2017][https_docs.microsoft.com_en-us_visualstudio_ai_installation_view_vs-2017]

Anaconda支持的各个版本  
[https://anaconda.org/pytorch/][https_anaconda.org_pytorch]  
[https://anaconda.org/pytorch/pytorch-cpu][https_anaconda.org_pytorch_pytorch-cpu]  
[https://anaconda.org/pytorch/pytorch][https_anaconda.org_pytorch_pytorch]  
[https://anaconda.org/pytorch/torchvision-cpu  
https://anaconda.org/pytorch/torchvision][https_anaconda.org_pytorch_torchvision-cpu https_anaconda.org_pytorch_torchvision]  
这里给出了一系列的安装命令，几个常用的摘录如下  
conda install -c pytorch pytorch  
conda install -c pytorch pytorch-cpu   
conda install -c pytorch torchvision  
conda install -c pytorch torchvision-cpu   
conda install -c pytorch cuda100   
conda install -c pytorch magma-cuda100 （LAPACK + GPU = MAGMA)  
这里-c表示该文件包只在特定的channel中（此处这个channel是pytorch）才有。

Anaconda上的下载文件  
[https://anaconda.org/pytorch/pytorch-cpu/files][https_anaconda.org_pytorch_pytorch-cpu_files]

### 其他依赖安装包 ###

opencv ([https://pypi.org/project/opencv-python/][https_pypi.org_project_opencv-python])

*  run `pip install opencv-python` if you need only main modules
 *  run `pip install opencv-contrib-python` if you need both main and contrib modules (check extra modules listing from [OpenCV documentation][])

手动安装pytorch依赖包（只需要这3个，numpy会安装其相应的依赖包）：  
conda install numpy  
conda install scikit-image  
conda install pandas  
conda install opencv (有时貌似有困难，此时建议采用`pip install opencv-python`)  
conda install cython  
conda install ninja  
conda install cffi  
pip install pytorch (或者：conda install G:\\downloaded\\pytorch-1.0.0-py3.7\_cuda100\_cudnn7\_1.tar.bz2)

手动安装torchvision依赖包  
conda install freetype  
conda install jpeg  
conda install libtiff  
conda install olefile  
conda install pillow  
pip install torchvision

### 在线安装（推荐） ###

在已经安装好Anaconda的基础上，通过下面４步，就可以很轻松实现一个pytorch的开发环境

CPU-模式：  
conda install -c pytorch pytorch-cpu  
pip install torchvision

GPU-模式：  
conda install -c pytorch pytorch  
pip install torchvision

### 离线安装 ###

### （1）普通离线安装 ###

这种方法我不推荐，原因是anaconda可能不会对此解析相关依赖，而只是按指令强行安装。

有时在线安装太慢或下载出现故障，可以下载需要的包离线安装。地址  
[https://anaconda.org/pytorch/pytorch/files][https_anaconda.org_pytorch_pytorch_files]  
[https://anaconda.org/pytorch/torchvision/files][https_anaconda.org_pytorch_torchvision_files]  
命令如下，  
conda install /path/\*\* tar.bz2即可  
注意最好将下载的文件放在anaconda安装目录之外，anaconda安装时同样需要解压并安装。

### （2）离线安装（推荐） ###

这种方法重点推荐。

因为大家都懂的原因，外网极为不稳定，所以如果完全依赖conda下载安装的话，那基本就不用干活了。所以，很多包可以先从网络上下载下来，然后再放到pkgs中快速实现安装。注意，下面的步骤都很简单，但每一步都不可少，我以安装 pytorch包（这个包有470M）为例说明，事先记得用命令配置一下显示文件来源，不然是看不到文件名称的，

conda config --set show_channel_urls yes

第一步：conda install -c pytorch pytorch

正常情况下，conda会显示出一个要下载的文件例表，并显示出从哪里下载，比如我的pytorch下载源显示 的是  
[https://conda.anaconda.org/pytorch/win-64/pytorch-1.0.1-py3.7\_cuda100\_cudnn7\_1.tar.bz2][https_conda.anaconda.org_pytorch_win-64_pytorch-1.0.1-py3.7_cuda100_cudnn7_1.tar.bz2]  
那么这个时候问题你要不要继续，果断选择n (No), 不要选y.

第二步：根据上面的网址把包下载下来，放入D:\\Anaconda3\\pkgs文件夹中

第三步：解压 D:\\Anaconda3\\pkgs\\pytorch-1.0.1-py3.7\_cuda100\_cudnn7\_1.tar.bz2 文件到  
D:\\Anaconda3\\pkgs\\pytorch-1.0.1-py3.7\_cuda100\_cudnn7\_1

注意解压后的文件结构一般是这样的(anaconda标准的文件结构)：  
D:\\Anaconda3\\pkgs\\pytorch-1.0.1-py3.7\_cuda100\_cudnn7\_1  
                         |————info  
                         |————lib  
                         |————scripts

这一步不可以省，否则anaconda会把下载下来的包删除并重新开始下载，解压后anaconda才会真正认为下载已经完成，切记切记！！！

第四步：第地址写入  
D:\\Anaconda3\\pkgs\\urls.txt  
并保存

例如我拉urls.tx的部分内容大致如下，

此处省略大部分。。。
    https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/mkl_random-1.0.2-py37h343c172_0.tar.bz2
    https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/numpy-base-1.15.4-py37hc3f5095_0.tar.bz2
    https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/icc_rt-2019.0.0-h0cc432a_1.tar.bz2
    https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/intel-openmp-2019.1-144.tar.bz2
    https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/mkl-2019.1-144.tar.bz2
    https://conda.anaconda.org/pytorch/noarch/torchvision-0.2.1-py_2.tar.bz2
    https://conda.anaconda.org/pytorch/win-64/pytorch-1.0.1-py3.7_cuda100_cudnn7_1.tar.bz2

第五步：重新输入命令：conda install -c pytorch pytorch

此时你会看到，下载列表消失了，anaconda已经找到了完成的下载包；然后下面有一个安装列表，告诉你哪些（已经下载下来的包）将要安装 。此时输入y回车继续安装即可！

结束！

## 使用anaconda ##

用过anaconda的朋友可能会问，这个还用得着说吗？

嗯，不知大家有没有碰到过这种情况：在anaconda-navigator中启动某个环境之后，不论你运行什么代码，那些明明在本环境下已经安装好了的包就是报错：不存在。。。

典型的情况是vscode，会能一些已经安装包说：找不到。

产生这种问题的根本原因，往往是因为配置出了问题，或者，你的文件含有以前的配置，当配置发生冲突时，anaconda会错误地优选本地文件的配置。比如vscode，这个时候检测一下本地的".vscode"，最好的办法是把这些配置删除掉，重新启动anaconda生成新的配置即可。

### 常用命令 ###

查看version 输入conda -V

*  conda list 查看安装了哪些包。
 *  conda env list 或 conda info -e 查看当前存在哪些虚拟环境
 *  conda update conda 检查更新当前conda
 *  deactivate "env\_name" 也可以使用 activate root切回root环境(Linux下使用 source deactivate)，不过，随着版本的更新，貌似现在前面都要加上conda才行，比如只能用命令：conda activate env\_name  或者 conda deactivate env\_name（conda不能省略）
 *  移除环境使用命令conda remove -n your\_env\_name(虚拟环境名称) --all， 即可删除
 *  删除环境中的某个包使用命令conda remove --name $your\_env\_name  $package\_name 即可

### 参考资料 ###

Anaconda cheet sheet 下载地址  
[https://conda.io/docs/\_downloads/conda-cheatsheet.pdf][https_conda.io_docs_downloads_conda-cheatsheet.pdf]

Anacoda教学地址  
[https://conda.io/docs/user-guide/getting-started.html][https_conda.io_docs_user-guide_getting-started.html]  
[https://research.computing.yale.edu/sites/default/files/files/anaconda.pdf][https_research.computing.yale.edu_sites_default_files_files_anaconda.pdf]

[教学地址JupyterNotebook  
h][https_research.computing.yale.edu_sites_default_files_files_anaconda.pdf][ttps://media.readthedocs.org/pdf/jupyter-notebook-beginner-guide/latest/jupyter-notebook-beginner-guide.pdf][ttps_media.readthedocs.org_pdf_jupyter-notebook-beginner-guide_latest_jupyter-notebook-beginner-guide.pdf]

Pytorch教学地址  
[https://pytorch.org/tutorials/][https_pytorch.org_tutorials]

### PIP 还是conda ###

pip install 和conda install的具体区别我也不太明白，安装完后只要依赖正常（各自寻找依赖的方式应该是会有些差别的，从安装时的包列表可以看出来一些差别），使用起来大多感觉没什么区别。我一般是这样的：

如果需要anaconda安装包及相关依赖， 就用conda，此时版本都是anaconda默认的；  
如果只想安装某个包，而不希望安装默认的anaconda依赖，就用pip；在版本自定义的时候，我往往选这个。

安装地址conda往往在pkgs下面，pip则在相应python包的site\_packages里面如下，  
conda一般会把包下载到：~/anaconda3/pkgs/  
pip则一般会把包下载到：~/anaconda3/lib/pythonx.x/site-packages/

### 其他安装包 ###

这个就取决于个人了，这里记下来的都是我自己用到的，

===>>> conda install scikit-image  
The following NEW packages will be INSTALLED:  
    cloudpickle:  0.6.1-py37\_0  
    cytoolz:      0.9.0.1-py37hfa6e2cd\_1  
    dask-core:    1.0.0-py37\_0  
    imageio:      2.4.1-py37\_0  
    networkx:     2.2-py37\_1  
    pywavelets:   1.0.1-py37h8c2d366\_0  
    scikit-image: 0.14.1-py37ha925a31\_0  
    scipy:        1.1.0-py37h29ff71c\_2  
    toolz:        0.9.0-py37\_0

===>>>conda install pandas  
Solving environment: done  
The following NEW packages will be INSTALLED:  
    pandas: 0.23.4-py37h830ac7b\_0

### tuna镜像的Conda 三方源 ###

当前tuna还维护了一些anaconda三方源。

### Conda Forge ###

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

### msys2 ###

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

### bioconda ###

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/

### menpo ###

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/

### pytorch ###

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    
    # for legacy win-64
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/peterjc123/

[https_www.anaconda.com_distribution]: https://www.anaconda.com/distribution/
[https_repo.anaconda.com_archive_Anaconda3-2018.12-Windows-x86_64.exe]: https://repo.anaconda.com/archive/Anaconda3-2018.12-Windows-x86_64.exe
[https_repo.anaconda.com_archive_Anaconda3-2018.12-Windows-x86.exe]: https://repo.anaconda.com/archive/Anaconda3-2018.12-Windows-x86.exe
[https_github.com_conda_conda_issues_1414]: https://github.com/conda/conda/issues/1414
[Link 1]: https://stackoverflow.com/questions/45197777/how-do-i-update-anaconda
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_16_color_FFFFFF_t_70]: /images/20220511/924554f49f134c7aae3b1d054cae8a09.png
[https_mirrors.tuna.tsinghua.edu.cn_help_anaconda]: https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
[opencv-contrib download]: https://files.pythonhosted.org/packages/70/21/c261fa54428f7cdbe268ba86215c7c570b3d2dc07de3ec0b0f617388f3c2/opencv_contrib_python-4.0.0.21-cp37-cp37m-win_amd64.whl
[https_github.com_conda_conda_issues_1884]: https://github.com/conda/conda/issues/1884
[https_docs.microsoft.com_en-us_visualstudio_ai_installation_view_vs-2017]: https://docs.microsoft.com/en-us/visualstudio/ai/installation?view=vs-2017
[https_anaconda.org_pytorch]: https://anaconda.org/pytorch/
[https_anaconda.org_pytorch_pytorch-cpu]: https://anaconda.org/pytorch/pytorch-cpu
[https_anaconda.org_pytorch_pytorch]: https://anaconda.org/pytorch/pytorch
[https_anaconda.org_pytorch_torchvision-cpu https_anaconda.org_pytorch_torchvision]: https://anaconda.org/pytorch/torchvision-cpu
[https_anaconda.org_pytorch_pytorch-cpu_files]: https://anaconda.org/pytorch/pytorch-cpu/files
[https_pypi.org_project_opencv-python]: https://pypi.org/project/opencv-python/
[OpenCV documentation]: https://docs.opencv.org/master/
[https_anaconda.org_pytorch_pytorch_files]: https://anaconda.org/pytorch/pytorch/files
[https_anaconda.org_pytorch_torchvision_files]: https://anaconda.org/pytorch/torchvision/files
[https_conda.anaconda.org_pytorch_win-64_pytorch-1.0.1-py3.7_cuda100_cudnn7_1.tar.bz2]: https://conda.anaconda.org/pytorch/win-64/pytorch-1.0.1-py3.7_cuda100_cudnn7_1.tar.bz2
[https_conda.io_docs_downloads_conda-cheatsheet.pdf]: https://conda.io/docs/_downloads/conda-cheatsheet.pdf
[https_conda.io_docs_user-guide_getting-started.html]: https://conda.io/docs/user-guide/getting-started.html
[https_research.computing.yale.edu_sites_default_files_files_anaconda.pdf]: https://research.computing.yale.edu/sites/default/files/files/anaconda.pdf
[ttps_media.readthedocs.org_pdf_jupyter-notebook-beginner-guide_latest_jupyter-notebook-beginner-guide.pdf]: https://media.readthedocs.org/pdf/jupyter-notebook-beginner-guide/latest/jupyter-notebook-beginner-guide.pdf
[https_pytorch.org_tutorials]: https://pytorch.org/tutorials/