一个超级懒鬼的jupyter环境搭建教学

叁歲伎倆 2022-10-22 12:59 48阅读 0赞

### 文章目录 ###

*  导读
 *  你永远可以信赖的微软
 *  随行参谋JetBrains
 *  永远的神：Docker
 *   *  优点
     *  先去把Docker准备好
     *  版本介绍
     *  安装开始
     *  问题发生
     *  网络配置
     *  环境配置
     *  通信测试
     *  token验证
     *  缺点
 *  总结

# 导读 #

`jupyter`作为一个直接在浏览器上编辑的数据分析软件，对于**一条在文献中苦苦挣扎的科研狗**来说是相当友好的。但是他也有一个致命的缺点：**启动的时候需要打开终端**，这个终端还**不能关**，一关掉浏览器也给你关掉了。

作为一个**懒得不能再懒的咸鱼**，我连多一个终端的想法都没有，**只想一开机就开始写代码**。

当然方法有很多，这里一一介绍**使用Docker搭建jupyter做知识图谱**的方法。我会着重介绍我最推荐的，其他的会一笔带过。听说`Spyder`也相当优秀，但很不幸的是，我没有用过，所以我不会过多的评论这款软件。

# 你永远可以信赖的微软 #

首先，那肯定是在设计`UI`上相当在行的微软公司啦。虽然`dotNet`就是很难看的一大坨，但是每一款软件（包括`Windows`在内）都有相当不错的界面。

于是呢，就相当推荐微软的`VScode`，在软件内打开的终端是可以隐藏起来的，这就使得编译器相当干净：左边一小点是文件夹，右边一大片是编辑器。

简直不要太优秀。

但是对于我这条懒狗，打开软件后还要打开终端，再开启`jupyter notebook`，那可是太难受了。等服务开启之后我估计已经没有力气思考了。

# 随行参谋JetBrains #

不管你是`Java`工程师还是`Python`工程师，只要涉及稍微大一丢丢的项目，`web`项目也好，爬虫项目也罢，你应该绝对会使用`JetBrains`的`IDEA`和`PyCharm`。因为`JetBrains`的代码提示做的实在是太完美了，就像一个军师一样，想要做什么直接给你规划出所有的备选方案，让你的代码速度飞起来。

不过打开软件的速度远远跟不上`VScode`，有太多的东西需要加载了。就像是军队的后勤部队一样，杂七杂八的东西很多，但任何一点都能起到相当大的作用。这一点相信`JetBrains`已经做了很多割舍和权衡了。

撇开加载速度不谈，要说有什么不足的话，那就是**收费**了。虽然学生可以直接申请，但不是学生就会相当贵……

# 永远的神：Docker #

光看标题就知道我有多喜欢他了。这也是本篇着重介绍的。

## 优点 ##

不得不说，`Docker`是一个相当神奇的虚拟环境，尤其在`Linux`爱好者和使用者手中就像是宝贝一样。优点就是：**可以后台运行**，保证了桌面的整洁，比虚拟机都方便。这一点对于强迫症相当友好。

另外，作为一个科研狗，平时用的最多的就是各种数据的处理，`jupyter`对我来说**更轻量级**，还不需要额外安装各类软件，而且浏览器还能直接查询问题，非常方便。

当然，最最最重要的优点就是：**开机自启动**。我突然就觉得这就是我想要的。

## 先去把Docker准备好 ##

安装`Docker`我就不再赘述了，可以参考我的[Linux版教程][Linux]和[Windows版教程][Windows]。

接下来的重点，就是怎么搭建环境了。

## 版本介绍 ##

首先，我们找到这样一个`GitHub`库：[点击这里传送][Link 1]

这里面可以选一款你喜欢的`jupyter`，不同的版本有不同的依赖。如果你想亲自挑选，可以看看[官方给的说明文档][Link 2]。如果想快速浏览，就看我下面简短的**翻译**：

*  **基础版**（`base-notebook`）
    
     *  仅提供**最低限度**的功能，基本上就是个空的`Python`编译环境
     *  另外自带俩包管理工具`anaconda`和`mamba`，但是科学计算包是一点都没有
 *  **轻量版**（`minial-notebook`）
    
     *  在**基础版**之上添加了一些功能
     *  能够将`LaTex`导出到`PDF`中（*还挺重要的*）
     *  内置`git`、`vi`、`nano`、`tzdata`、`unzip`，组成了一个很基础的`Ubuntu Server`
 *  **数学分析特供版**（`r-notebook`）
    
     *  在**轻量版**之上添加了一些功能
     *  添加了`R`语言解释器
     *  塞进去了从`conda-forge`里面下载的`devtools`、`shiny`、`rmarkdown`、`forecast`、`rsqlite`、`nycflights13`、`caret`、`tidymodels`、`rcurl`、`randomforest`包
 *  **科学计算特化版**（`scipy-notebook`）
    
     *  在**轻量版**之上添加了一些功能
     *  你叫的上名字的包全都在里面，其中包括了数据分析、数据可视化等等一切涉及科学计算的包
 *  **深度学习特供版**（`tensorflow-notebook`）
    
     *  在**科学计算特化版**之上添加了一些功能
     *  内置了`tensorflow`和`keras`
 *  **数据科学特供版**（`datascience-notebook`）
    
     *  是**科学计算特化版**和**数学分析特供版**的结合，同时还增加了点功能
     *  添加了`Julia`解释器，还有`HDF5`、`Gadfly`和`RDatasets`
 *  **大数据特供版**（`pyspark-notebook`）
    
     *  在**科学计算特化版**之上添加了`Apache Spark`支持和`Hadoop`
 *  **大数据旗舰版**（`all-spark-notebook`）
    
     *  在**大数据特供版**之上添加了一些功能
     *  包含了`Python`、`R`、`Scala`等的支持
     *  还自带了`Apache Toree`、`spylon-kernel`、`ggplot2`、`sparklyr`、`rcurl`等

看了这么多，是不是有点眼花缭乱？

官方是这么总结的：

![摘自GitHub官方文档的图片，加载不出来应该是网络原因。原地址：https://jupyter-docker-stacks.readthedocs.io/en/latest/\_images/inherit.svg][GitHub_https_jupyter-docker-stacks.readthedocs.io_en_latest_images_inherit.svg]

似乎直观一点了。

不过我个人比较喜欢`datascience`这个版本，也就是**数据科学特供版**，因为我刚好需要。

## 安装开始 ##

我们先准备一个`docker-compose.yml`，里面包含这些东西：

**严重警告**：*本配置文件还有为完善的地方，请不要复制，之后给出完整版*

version: '3.3'
    services:
      # 专用于neo4j的jupyter
      jupyter-neo4j:
        # 镜像
        image: 'jupyter/datascience-notebook'
        # 自启动
        restart: always
        # 使用docker exec命令登入后显示的主机名称
        hostname: 'jupyter'
        # docker容器名称
        container_name: 'neo4j-1002'
        # 端口
        ports:
          - 1002:8888
        # 文件保存位置
        volumes:
          - /home/sakebow/workplace/jupyter/neo4j:/home/jovyan/work
      
      # neo4j服务器 - 配置同上
      neo4j:
        image: 'neo4j'
        hostname: 'neo4j'
        container_name: 'neo4j-server-1074-1087'
        restart: always
        # 环境变量
        environment:
          # 用户名和密码
          NEO4J_AUTH: 'neo4j/ljx62149079'
        ports:
          - 1074:7474
          - 1087:7687
        volumes:
          - /usr/local/docker/neo4j/data:/data
          - /usr/local/docker/neo4j/logs:/logs
          - /usr/local/docker/neo4j:/var/lib/neo4j
    # 严重警告：本配置文件还有为完善的地方，请不要复制，之后给出完整版

很多教程里面顺便还会加上`mysql`和`redis`的配置，其实没有必要，`neo4j`和`jupyter`就够了。

## 问题发生 ##

然后，使用`docker-compose up -d`命令后台运行这两个容器。**无需等待**，命令敲完之后立马就能开始使用。如果你发现有什么配置写错了，直接改`yaml`文件，再次`docker-compose up -d`，**所有**的容器将会重置。放心，只要设置了`volumes`字段，你所有的文件就会被**保存**到本机，不会像重装系统一样什么都没有了。这也是`Docker`真正吸引我的地方。

容器启动后，我开始配置环境，然后建立测试文件，运行，发现`py2neo`模块一直报错，说是连不上`neo4j`服务器。

## 网络配置 ##

初步猜测，应该是`Docker`之间**不能相互通信**。于是尝试`Docker`的网络配置：

docker network create py2neo --driver bridge

也就相当于使用`vmware`的时候设置物理机与虚拟机之间的**桥接**一样，而且还给了这个桥接一个名字：`py2neo`。

接着我们来完善一下`docker-compose.yml`：

*这次是完整正确的配置文件，放心使用。*

version: '3.3'
    services:  
      # jupyter
      jupyter-neo4j:
        image: 'jupyter/datascience-notebook'
        restart: always
        hostname: 'jupyter'
        container_name: 'neo4j-1002'
        ports:
          - 1002:8888
        volumes:
          - /home/sakebow/workplace/jupyter/neo4j:/home/jovyan/work
      
      # neo4j-server
      neo4j:
        image: 'neo4j'
        hostname: 'neo4j'
        container_name: 'neo4j-server-1074-1087'
        restart: always
        environment:
          NEO4J_AUTH: 'neo4j/ljx62149079'
        ports:
          - 1074:7474
          - 1087:7687
        volumes:
          - /usr/local/docker/neo4j/data:/data
          - /usr/local/docker/neo4j/logs:/logs
          - /usr/local/docker/neo4j/conf:/var/lib/neo4j/conf
          - /usr/local/docker/neo4j/import:/var/lib/neo4j/import
    # 添加网络连接配置
    networks:
      default:
        # 使用现有的连接
        external:
          # 用上刚刚创建的桥接名称
          name: py2neo

再次使用`docker-compose up -d`，等启动之后，立马就能使用。

## 环境配置 ##

还记得上面讲的版本差异吗？你会发现，没有一个是适合**知识图谱**的。不过放心，这些容器都自带了`anaconda`环境，我们可以进去配置。

我们既然已经把容器命名了，那就直接用容器名称咯。

docker exec -it neo4j-1002 /bin/bash

然后就进来了，终端上会显示：

jovyan@neo4j $

你可能会有点不适应。实际上在`base-notebook`的`Dockerfile`你会发现他创建了`jovyan`用户。但是很可惜，没有指定密码，所以是随机生成的。这个密码我们也没有办法试出来，难度太大了，包含了符号、数字、大小写字母共四种字符。也就是说，无法获得管理员权限。

但是`anaconda`是不需要管理员权限的，那就直接上吧：

pip3 install neo4j-driver py2neo

你问我为什么有了`anaconda`都不新建环境？因为`Docker`能够提供比`anaconda`更高级别的隔离性，为什么不直接新建一个`Docker`呢？总归也是使用浏览器写代码。

## 通信测试 ##

最后，我们来看看`IP`。

如果是`Ubuntu`，那么就得先安装`net-tools`，然后使用`ifconfig`查看：

sudo apt-get install net-tools -y; ifconfig

如果是`Windows`，那么就直接使用`ipconfig`查看。

我这里一共启动了四个容器，分别是是 172.17.0.1 172.17.0.1 172.17.0.1、 172.18.0.1 172.18.0.1 172.18.0.1、 172.19.0.1 172.19.0.1 172.19.0.1、 172.20.0.1 172.20.0.1 172.20.0.1。

如果你对`SpringCloud`\+ `Docker`的微服务框架有所了解，那么你应该知道，使用`HTTP`在`Docker`间通信是不能使用`localhost`的。但由于桥接的特殊性，这四个`IP`能够自由通信，哪怕完全对应不上`Docker`和`IP`，随便从四个地址中选一个都可以进入`jupyter`，只要你的端口号是匹配的就能进去。比如，我在`yml`文件中对`neo4j-1002`配置的是1002端口，那么就应当是 172. x . 0.1 : 1002 172.x.0.1:1002 172.x.0.1:1002，其中 x x x是 17 17 17、 18 18 18、 19 19 19、 20 20 20中的任意一个。

## token验证 ##

如果你是`JavaWeb`工程师，那么你对`token`应该是相当熟悉了吧？没错，是一段**能够自验证的**、**经过加密计算的字符串**。

如果你是每次手动开启命令行启动`jupyter`服务，那么确实能看到一串很长的网址，大致是：

http://0.0.0.0:8888?token=...

后面是很长一串字符串，这个就是`token`。把等号后面的复制下来。

但是，这次我们是后台启动，没办法看到这个，怎么办？没关系，我们还能进容器找找：

docker exec -it neo4j-1002 /bin/bash

然后在容器内输入：

jupyter notebook list

就会出现所有连上来的网址：

![在这里插入图片描述][2021031808343294.png_pic_center]

同样的，把这个网址中等号后面的一长串全部复制。

最后，我们打开物理机的浏览器，输入：`http://localhost:1002`

就会出现：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29yZGluYXJ5X2Jyb255_size_16_color_FFFFFF_t_70_pic_center]

把剪贴板的内容粘贴在第一个文本框，就能够登录进去了。这一长串记不住没关系，最下面还有自定义密码的两个输入框。倒数第二个文本框还是粘贴`token`，倒数第一个就是自定义密码。

## 缺点 ##

当然这么做肯定还有很多缺点。

*  `Docker`需要的内存相当大，如果电脑的内存小于 8 G 8G 8G，可能就相当难受，这也就是说在**阿里云学生服务器**上没有办法跑起来；
 *  不使用`anaconda`新建环境的原因其实是：新建了之后`jupyter`没有办法切换过去，很鸡肋；
 *  无法使用管理员权限，如果像`vizdoom`等需要额外的依赖包的话，只能下载官方提供的`Dockerfile`并一点点改。主要难点就是学习成本很高，进展很慢；
 *  `jupyter`本身就有很大局限，稍微大一点点的项目就没办法了。所以要做出一个什么产品的话还是得`VScode`或者`PyCharm`

# 总结 #

以上就是使用`Docker`搭建一个不需要自己启动的`jupyter`的全部内容。诚然，他有一些缺陷；不过对于我来说，已经相当符合我的诉求了。所以，我才会花一些心思整这个。

是不是有点能理解了呢？

[Linux]: https://blog.csdn.net/ordinary_brony/article/details/108031736
[Windows]: https://blog.csdn.net/ordinary_brony/article/details/109603240
[Link 1]: https://github.com/jupyter/docker-stacks
[Link 2]: https://jupyter-docker-stacks.readthedocs.io/en/latest/using/selecting.html
[GitHub_https_jupyter-docker-stacks.readthedocs.io_en_latest_images_inherit.svg]: /images/20221022/a9b0f0767c774cd6a0aadb55722a6c60.png
[2021031808343294.png_pic_center]: /images/20221022/000d103638d5476ebedc242e66180f80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29yZGluYXJ5X2Jyb255_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/49387d11be844a069c84c7be3d35cbe5.png