Python之离线环境安装第三方模块

迈不过友情╰ 2022-11-20 11:56 503阅读 0赞

熟悉Python的读者都知道，在Python中安装（在线环境）第三方模块十分方便，只需要输入`pip install package_name`即可完成第三方模块的完成，因为它会帮助你解决各个模块之间的依赖关系。但是，如果是离线环境，安装第三方模块将是一件十分困难的事情，因为你不清楚他们之间的依赖关系。  
  本文将介绍如何在离线环境中安装第三方模块。  
  本文以离线安装Python3.5的tensorflow模块为例，首先我们先找到tensorflow的依赖模块，然后将这些依赖模块下载下来，最后完成安装。

### 寻找依赖模块 ###

笔者新建了一个Docker项目，我们借助Docker打镜像来完成tensorflow模块的安装，在安装的同时我们便能得到依赖的第三方模块及下载网址。  
  项目结构如下：  
![项目结构][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70_pic_center]  
其中Python安装包为Python-3.5.2.tar.xz，requirement.txt中只有tensorflow==1.14.0这个模块，run.py为空。我们用来制作镜像的Dockerfile为flask\_demo.build，完整内容如下：

FROM centos:7.2.1511
    
    # install related packages
    ENV ENVIRONMENT DOCKER_PROD
    RUN cd / && ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \
        && yum makecache \
        && yum install -y wget aclocal supervisor automake autoconf make gcc gcc-c++ python-devel mysql-devel bzip2 libffi-devel epel-release \
        && yum clean all
    
    # install Python3.5.2
    COPY python_dev/Python-3.5.2.tar.xz /root
    RUN cd /root \
        && tar -xvf Python-3.5.2.tar.xz -C /usr/local/ \
        && rm -rf Python-3.5.2.tar.xz \
        && cd /usr/local/Python-3.5.2 \
        && ./configure && make && make install
    
    # set ENV variable WORK_DIR and copy source code
    ENV WORK_DIR /root/flask_demo/src
    COPY src $WORK_DIR
    
    # install pip3 and related Python packages
    COPY python_dev/pip-8.0.2.tar.gz /root/pip-8.0.2.tar.gz
    RUN cd /root \
        && tar -zxvf pip-8.0.2.tar.gz \
        && cd pip-8.0.2 \
        && python3 setup.py build \
        && python3 setup.py install \
        && pip3 install --upgrade pip -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com \
        && mkdir -m 755 -p /etc/supervisor/conf.d \
        && pip3 install supervisor -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com \
        && cd $WORK_DIR \
        && pip3 install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com \
        && yum clean all
    
    # WORK_DIR
    WORKDIR $WORK_DIR
    
    # use supervisor to run Python script
    CMD ["pytho3", "run.py"]

build.sh内容如下：

#!/usr/bin/env bash
    TIMENOW=`date +%y.%m.%d.%H%M`
    cd ..
    docker build -f ./docker/flask_demo.build -t demo:${TIMENOW} .

我们运行build.sh脚本，等待镜像打包完成，其中安装tensorflow的过程如下图：  
![tensorflow安装过程][tensorflow]

### 下载依赖模块 ###

我们将上述的依赖模块复制到install.txt文件中，前几行如下：

Collecting tensorflow==1.14.0
      Downloading http://pypi.doubanio.com/packages/7c/fb/7b2c5b3e85ad335b53ca67deb2ef4af574dc0a8759f43b7f45e15005e449/tensorflow-1.14.0-cp35-cp35m-manylinux1_x86_64.whl (109.2 MB)
    Collecting tensorflow-estimator<1.15.0rc0,>=1.14.0rc0
      Downloading http://pypi.doubanio.com/packages/3c/d5/21860a5b11caf0678fbc8319341b0ae21a07156911132e0e71bffed0510d/tensorflow_estimator-1.14.0-py2.py3-none-any.whl (488 kB)
    Collecting google-pasta>=0.1.6
      Downloading http://pypi.doubanio.com/packages/a3/de/c648ef6835192e6e2cc03f40b19eeda4382c49b5bafb43d88b931c4c74ac/google_pasta-0.2.0-py3-none-any.whl (57 kB)

我们使用Python脚本去解析该文本，并利用Linux系统自带的wget命令下载这个依赖文件至modules文件夹。解析及下载模块的脚本（download\_modules.py）代码如下：

# -*- coding: utf-8 -*-
    import os
    
    with open("../install.txt", "r", encoding="utf-8") as f:
        content = [_.strip() for _ in f.readlines()]
    
    for line in content:
        if line.startswith("Downloading"):
            module_url = line.split()[1]
            print(module_url)
            if module_url.startswith("http"):
                os.system("wget {}".format(module_url))
                print("Download {}".format(module_url.split("/")[-1]))

输出结果（部分）如下：  
![下载模块][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70_pic_center 1]  
这时候，我们发现在modules文件夹已经有了安装tensorflow所需的全部第三方模块，如下：  
![模块列表][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70_pic_center 2]  
  如果在离线环境，我们只需要将这些安装包拷贝进去，并用`pip install ***.whl(or tar.gz)`安装即可。

### 总结 ###

本文已上传至Github，网址为：https://github.com/percent4/offline\_python\_third\_party\_module\_install 。  
  本文到此结束，感谢大家的阅读~

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/d4993d8be00a4511beda831a814c2438.png
[tensorflow]: /images/20221120/2c66d1fa0df5492d852bd4a884b73ed5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/c4f35cda40fe4d069df7a311062c7207.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/ec2bc49ce93a4b8f9b5a6bcef243ecad.png