GLM-6B部署手册

我不是女神ヾ 2023-10-09 23:34 18阅读 0赞

### **硬件环境** ###

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>GPU</td> 
   <td>NVIDIA 3090</td> 
  </tr> 
  <tr> 
   <td>CPU</td> 
   <td>Intel Xeon Gold 6271C, 2.6GHz, 10 Core</td> 
  </tr> 
  <tr> 
   <td>内存</td> 
   <td>40G</td> 
  </tr> 
  <tr> 
   <td>显存</td> 
   <td>24G</td> 
  </tr> 
  <tr> 
   <td>系统盘</td> 
   <td>150G SSD</td> 
  </tr> 
  <tr> 
   <td>浮点算力</td> 
   <td>FP32 35.6 TFLOPS</td> 
  </tr> 
 </tbody> 
</table>

### **软件环境** ###

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>python</td> 
   <td>3.10</td> 
  </tr> 
  <tr> 
   <td>cuda</td> 
   <td>11.6</td> 
  </tr> 
  <tr> 
   <td>cudnn</td> 
   <td>8</td> 
  </tr> 
 </tbody> 
</table>

### **部署流程** ###

##### 1.购买服务器并安装镜像 #####

本部署基于揽睿星舟-GPU算力平台（[https://www.lanrui-ai.com/][https_www.lanrui-ai.com]）

*  注册并登录后进入控制台，创建工作空间

![在这里插入图片描述][10340cb4ef2742d6bf609e120197340c.png]

*  选择对应的服务器配置

点击使用，并选择对应的镜像和预训练模型，完成环境搭建  
![在这里插入图片描述][5b1d690a477f450c8823665f8caf01b2.png]  
![在这里插入图片描述][d50b482db7ea480d8b8a10623c429c8b.png]

##### 2.部署GML-6B #####

*  Git加速配置

执行下面2条命令，设置git学术资源加速

git config --global http.proxy socks5h://172.16.16.39:8443
    git config --global https.proxy socks5h://172.16.16.39:8443

*  下载ChatGLM源代码

进入Jupyter的页面后，可以看到2个目录，对目录做下说明：

data目录，存放数据，平台共享的
    
    imported_models目录，存放预训练模型，即创建工作空间时你选择的模型

点击data目录下，可以看到ChatGLM-6B文件夹，里面是ChatGLM的源代码

如果没有ChatGLM-6B目录，那么我们这一步需要下载代码，

操作如下： 页面打开一个Terminal终端，在Terminal终端执行命令 下载ChatGLM源代码

git clone https://github.com/THUDM/ChatGLM-6B.git

*  安装依赖

执行命令切换到ChatGLM-6B的目录

cd ChatGLM-6B

接着修改requirements.txt文件，把后续所有需要的依赖都加上，下面的配置加在文件末尾即可，如果文件里已加上这3个依赖，无需再修改

chardet
    streamlit
    streamlit-chat

加完之后save保存下文件，如图  
![在这里插入图片描述][87a67a37aa23478097c85d6a7ea0c3ec.png]

接着命令行执行下面命令安装依赖，如果报错ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support，执行sudo su切换root用户再执行以下命令即可

# 使用默认镜像源下载会超时，这里用了清华的pip镜像源地址
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

##### 3.修改启动脚本 #####

*  修改web\_demo2.py文件中的模型加载地址为本地目录

![在这里插入图片描述][577599dfcfce45b0aca24ede5049c926.png]

改为  
![在这里插入图片描述][e20ce56b6a1445a5ade037be1b36a46d.png]

##### 4.启动 #####

*  在ChatGLM-6B目录下，命令行执行

python3 -m streamlit run ./web_demo2.py --server.port 27777 --server.address 0.0.0.0

*  看到如下输出则启动成功

![在这里插入图片描述][0b03e4e99aa44f3b978794912f9121cd.png]

##### 5.使用 #####

*  登录揽睿星舟复制调制地址

![在这里插入图片描述][e8e3d607266b429b841e6fe739f42e0e.png]

*  在浏览器进行访问，即可使用  
    ![在这里插入图片描述][50bcc7a71089420599b655e29793f631.png]

[https_www.lanrui-ai.com]: https://www.lanrui-ai.com/
[10340cb4ef2742d6bf609e120197340c.png]: https://img-blog.csdnimg.cn/10340cb4ef2742d6bf609e120197340c.png
[5b1d690a477f450c8823665f8caf01b2.png]: https://img-blog.csdnimg.cn/5b1d690a477f450c8823665f8caf01b2.png
[d50b482db7ea480d8b8a10623c429c8b.png]: https://img-blog.csdnimg.cn/d50b482db7ea480d8b8a10623c429c8b.png
[87a67a37aa23478097c85d6a7ea0c3ec.png]: https://img-blog.csdnimg.cn/87a67a37aa23478097c85d6a7ea0c3ec.png
[577599dfcfce45b0aca24ede5049c926.png]: https://img-blog.csdnimg.cn/577599dfcfce45b0aca24ede5049c926.png
[e20ce56b6a1445a5ade037be1b36a46d.png]: https://img-blog.csdnimg.cn/e20ce56b6a1445a5ade037be1b36a46d.png
[0b03e4e99aa44f3b978794912f9121cd.png]: https://img-blog.csdnimg.cn/0b03e4e99aa44f3b978794912f9121cd.png
[e8e3d607266b429b841e6fe739f42e0e.png]: https://img-blog.csdnimg.cn/e8e3d607266b429b841e6fe739f42e0e.png
[50bcc7a71089420599b655e29793f631.png]: https://img-blog.csdnimg.cn/50bcc7a71089420599b655e29793f631.png