记一次本地Docker部署类chatgpt

一、起因

前段时间刷到清华大学开源的https://github.com/THUDM/ChatGLM-6B与ChatGPT的对比视频，于是萌生了本地部署测试的念头。

鉴于ChatGLM的标准版13G GPU的硬件要求、以及不想影响个人电脑使用环境，于是决定使用Docker尝试部署支持ChatGLM的开源项目https://github.com/Jittor/JittorLLMs

二、整体说明

全过程docker操作，使用tangyujun/ubuntu:aliyun-2004镜像，该镜像使用了ubuntu的20.04版本并替换了默认的apt源为阿里云镜像。后续过程参考了官方文档和网络资料。

三、过程

3.1 运行容器ubuntu 20.04

1
2

docker pull tangyujun/ubuntu:aliyun-2004
docker run -itd -name jittor -p 51234:51234 tangyujun/ubuntu:aliyun-2004 bash

3.2 操作系统基础组件

依赖git拉取项目源码、python运行代码、python3-pip安装依赖

1
2
3

apt update
apt upgrade
apt install git python3 python3-pip

3.3 拉取项目

1
2
3
4
5
6

# 国内使用 gitlink clone
git clone https://gitlink.org.cn/jittor/JittorLLMs.git --depth 1
# github: git clone https://github.com/Jittor/JittorLLMs.git --depth 1
cd JittorLLMs
# -i 指定用jittor的源， -I 强制重装Jittor版torch
pip install -r requirements.txt -i https://pypi.jittor.org/simple -I

如果出现找不到jittor版本的错误，可能是您使用的镜像还没有更新，使用如下命令更新最新版：pip install jittor -U -i https://pypi.org/simple

3.4 运行项目

1. 以命令行方式运行:

手动安装chatglm所需的依赖

1

python3 -m pip install -r models/chatglm/requirements.txt

运行命令：python cli_demo.py [chatglm|pangualpha|llama|chatrwkv]，例如

1

python3 cli_demo.py chatglm

运行后会自动从服务器上下载模型文件到本地，会占用根目录下一定的硬盘空间。 例如对于盘古α约为 15G。最开始运行的时候会编译一些CUDA算子，这会花费一些时间进行加载。

实际运行过程存在运行时异常，暂无解决方案