『Python学习笔记』Jupyter Notebook(Lab)的一些使用技巧！

柔光的暖阳◎ 2022-09-06 01:35 128阅读 0赞

<table> 
 <tbody> 
  <tr> 
   <td><font>Jupyter Notebook(Lab)的一些使用技巧！</font> </td> 
  </tr> 
 </tbody> 
</table>

### 文章目录 ###

*  一. 存储问题
 *  二. Notebook环境安装conda并使用
 *   *  2.1. 下载安装conda
     *  2.2. 设置软链接
     *  2.3. 创建虚拟环境
     *  2.4. 启动虚拟环境
 *  三. Pycharm通过ssh远程连接notebook
 *   *  3.1. sshd配置
     *  3.2. Pycharm配置
     *  3.3. 自定义python环境并加到jupyter kernel
     *   *  3.3.1. 可访问互联网
         *  3.3.2. 不可访问互联网
     *  3.4. Notebook jupyter运行报No Kernel
 *  四. 参考文章

>  *  服务器搭建神器JupyterLab：[https://blog.csdn.net/abc13526222160/article/details/108628640?spm=1001.2014.3001.5501][https_blog.csdn.net_abc13526222160_article_details_108628640_spm_1001.2014.3001.5501]

# 一. 存储问题 #

>  *  `Notebook`在运行超过限定资源的时候会重启，仅保留`/data/private/workspace/`下的所有目录，其他文件夹下的目录会全部删除，原因是`/data/private/workspace/`是`docker`**镜像对外的挂载点**。
>  *  为了保证重启后`notebook`环境不丢失，推荐在`/data/private/workspace/`底下的安装`miniconda`，`python`环境利用该`conda3`环境安装，其他的需要编译的文件记录在`/data/private/workspace/`底下的`install.sh`里面，重启之后运行`install.sh`文件安装环境。

# 二. Notebook环境安装conda并使用 #

>  *  不要对`notebook`默认内置的`conda`环境进行升级、修改，改变内置的`conda`环境会导致实例直接崩溃，如果需要对`conda`进行变更，可以重新下载`conda`，配置过程如下：

## 2.1. 下载安装conda ##

wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh

>  *  然后给下载的文件赋予可执行权限并运行：

chmod 777 Miniconda3-latest-Linux-x86_64.sh
    sh Miniconda3-latest-Linux-x86_64.sh

>  *  安装过程中，提示阅读用户许可协议，需要按`“Enter”`继续，并输入`“yes”`继续安装，并列出`conda`安装的具体路径，由于`notebook`环境重启会导致安装包删除，所以一定要将新安装的`conda`安装到`/data/private/workspace`下。我们将新安装的`conda`安装到`/data/private/workspace/conda3`。最后询问是否初始化`Miniconda3`时，直接选`yes`。

## 2.2. 设置软链接 ##

>  *  将下载好的`conda3`命令软链接到`/usr/bin`中，因为默认配置中已经有`conda3`命令，所以直接将新安装的`conda3`命令软链接为`conda`命令：

ln -s /data/private/workspace/conda3/bin/conda /usr/bin/conda

## 2.3. 创建虚拟环境 ##

>  *  在这里要注意，利用`conda`创建新的虚拟环境时，一定要指定一个新的`python`版本，如果不指定，默认是使用系统`/usr/bin/python`命令的版本，默认是`2.7`，所以要使用如下命令，以创建一个名为`lab`的虚拟环境为例：

conda create -n lab python=3.7

## 2.4. 启动虚拟环境 ##

>  *  要启动虚拟环境，首先要执行以下命令：如果不执行上面的命令，会一直提示要通过conda init进行初始化，但是初始化以后还是激活不了虚拟环境，切记。

. /data/private/workspace/conda3/etc/profile.d/conda.sh

>  *  然后就可以通过以下命令启动新的虚拟环境了：

conda activate lab

>  *  由于`notebook`的原因，每次启动前虚拟环境前都需要执行`/data/private/workspace/conda3/etc/profile.d/conda.sh`脚本。

# 三. Pycharm通过ssh远程连接notebook #

>  *  利用`ssh`，可以在本地使用`pycharm`连接远程的`notebook`环境，进行远程开发和`debug`。
>  *  申请一个端口映射，以下配置在`notebook`重启之后会被删除，所以最好写个`shell`脚本运行。

## 3.1. sshd配置 ##

>  *  1. 安装sshd

yum install openssh-server

>  *  2. 生成密钥文件

ssh-keygen -q -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key -N '' 
    ssh-keygen -q -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key -N ''
    ssh-keygen -t dsa -f /etc/ssh/ssh_host_ed25519_key -N ''

>  *  3. **修改端口号**。`vi /etc/ssh/sshd_config`，将配置文件中的端口号改为申请的端口。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70][]

>  *  4. 修改`root`密码

passwd root

>  *  5. 启动`SSH`服务，需要目录/`var/run/sshd`存在

mkdir -p /var/run/sshd
    /usr/sbin/sshd

## 3.2. Pycharm配置 ##

>  *   需要`pycharm专业版`支持，社区版没有`ssh`同步插件。推荐配置远程`python`解释器，远程解释器引用`/data/private/workspace/miniconda3/bin/python3`。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70 2][]

>  *   完成上述配置后，就可以在本地使用`notebook`环境进行远程开发和`debug`了。

## 3.3. 自定义python环境并加到jupyter kernel ##

>  *   可以根据下面的步骤增加新的`python kernel`

### 3.3.1. 可访问互联网 ###

>  *  在`notebook`内打开新的`terminal`，其中`lab`是环境名称可随意修改。

conda3 create -n tf2 python=3.7 ipykernel

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70 3][]

>  *  等待新环境创建成功并验证: 执行下面的目录会看到一个`tf2`的环境目录

ls -l /opt/conda3/envs`在这里插入代码片`

![b53d746a82a34f14ae862ec6613858bd.png][]

>  *  将新环境加到`jupyter notebook`的`kernel`列表

/opt/conda3/envs/tf2/bin/python -m ipykernel install --user --name 'tf2'

![2682f83c5a1c40bc909e21ddde78b6e5.png][]

### 3.3.2. 不可访问互联网 ###

>  *  找任意一台可访问互联网的安装`linux`操作系统(建议`centos7`)的机器，创建一个conda环境并安装`ipykernel`库。
>  *  创建一个新的`conda`环境,可采用`conda create`也可以使用`conda(miniconda)`的离线安装包命令略。
>  *   \[ 必 须 \] \[必须\] \[必须\] 安装`ipykernel`,下面例子使用`conda`安装，也可使用`pip`:  \{ 使 用 的 环 境 \} \\\{使用的环境\\\} \{ 使用的环境\}`/bin/pip install ipykerne`

$ tf2/bin/conda install ipykernel

>  *  环境打包

tar -zcvf tf2.tgz tf2 --exclude pkgs

>  *   \[ n o t e b o o k 容 器 内 \] \[notebook容器内\] \[notebook容器内\]将压缩包放到`notebook`实例内(建议`/opt/conda3/envs`)，并解压：

cd /opt/conda3/envs && tar -zxvf tf2.tgz

>  *  **补充：压缩和解压命令**

# 补充的压缩和解压缩！
    # 1. 打包压缩
    tar -zcvf pack.tar.gz pack/  #打包压缩为一个.gz格式的压缩包,   和.tgz一样
    tar -jcvf pack.tar.bz2 pack/ #打包压缩为一个.bz2格式的压缩包
    tar -Jcvf pack.tar.xz pack/  #打包压缩为一个.xz格式的压缩包
    
    # 2. 解包解压
    tar -zxvf pack.tar.gz /pack  #解包解压.gz格式的压缩包到pack文件夹,   和.tgz一样
    tar -jxvf pack.tar.bz2 /pack #解包解压.bz2格式的压缩包到pack文件夹
    tar -Jxvf pack.tar.xz /pack  #解包解压.xz格式的压缩包到pack文件夹

>  *  将新环境加到`jupyter notebook`的`kernel`列表

/opt/conda3/envs/tf2/bin/python -m ipykernel install --user --name 'tf2'

>  *  验证加入成功，需要刷新网页。

## 3.4. Notebook jupyter运行报No Kernel ##

>  *  `jupyter`运行时找不到`ipykernel_launcher`，只需安装`ipykernel_launcher`即可

pip3 install ipykernel_launcher

# 四. 参考文章 #

>  *  [linux笔记：使用conda命令管理包、管理环境详细讲解][linux_conda]
>  *  [服务器搭建神器JupyterLab！][https_blog.csdn.net_abc13526222160_article_details_108628640_spm_1001.2014.3001.5501]

[https_blog.csdn.net_abc13526222160_article_details_108628640_spm_1001.2014.3001.5501]: https://blog.csdn.net/abc13526222160/article/details/108628640?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70]: /images/20220829/f30d80d4b1f040adb8ef3a97aed70f74.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/ebfaf3428fbd427b80a399c1d9c99604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70 2]: /images/20220829/40d0785b76ed4efeb59f3a2083a96480.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70 3]: /images/20220829/8a4fd695476641f794b3ecf16265cfee.png
[b53d746a82a34f14ae862ec6613858bd.png]: /images/20220829/2870a1e942a14ae2a74dd2a2aa399efb.png
[2682f83c5a1c40bc909e21ddde78b6e5.png]: /images/20220829/a480c0e72b924efe9b4a8ef4cbb6947e.png
[linux_conda]: https://blog.csdn.net/abc13526222160/article/details/84624334?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162937669516780274131680%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=162937669516780274131680&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_v2~rank_v29-1-84624334.pc_v2_rank_blog_default&utm_term=conda&spm=1018.2226.3001.4450