专栏
登录
服务器部署ChatGLM3-6B模型
2024-03-25 09:20:00 18阅读
环境配置
Python版本
python --version
Python 3.10.14
PyTorch版本
python -c 'import torch; print(torch.__version__)'
2.2.1+cu121
CUDA版本
nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0
部署
安装依赖
conda create -n chatglm3-demo python=3.10
conda activate chatglm3-demo
pip install -r requirements.txt
此外，使用 Code Interpreter 还需要安装 Jupyter 内核：
ipython kernel install --name chatglm3-demo --user
下载仓库
git clone ..../THUDM/ChatGLM3
下载模型
HuggingFace
sudo apt-get install git-lfs
git lfs install
git clone .../THUDM/chatglm3-6b
ModelScope
国内服务器建议采取这种方式下载模型
新建 download.py，粘贴以下内容
from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")
启动服务
首先，需要设置模型文件位置，可以在所要运行的demo文件中设置，或者选择临时写入环境变量进行测试
export MODEL_PATH="/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b"
echo $MODEL_PATH
在basic_demo目录下提供了简单的测试demo，使用网页进行测试可能需要服务器拥有公网ip或者使用FRP等内网穿透工具。
可以通过以下命令启动基于 Gradio 的网页版 demo：
python web_demo_gradio.py
可以通过以下命令启动基于 Streamlit 的网页版 demo：
streamlit run web_demo_streamlit.py
可以通过以下命令启动命令行对话 Demo：
python cli_demo.py
效果
- 0
- 0
- 0
-
发表评论
服务器部署ChatGLM3-6B模型
2024-03-25 09:20:00 18阅读
环境配置
Python版本
python --version
Python 3.10.14
PyTorch版本
python -c 'import torch; print(torch.__version__)'
2.2.1+cu121
CUDA版本
nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0
部署
安装依赖
conda create -n chatglm3-demo python=3.10
conda activate chatglm3-demo
pip install -r requirements.txt
此外，使用 Code Interpreter 还需要安装 Jupyter 内核：
ipython kernel install --name chatglm3-demo --user
下载仓库
git clone ..../THUDM/ChatGLM3
下载模型
HuggingFace
sudo apt-get install git-lfs
git lfs install
git clone .../THUDM/chatglm3-6b
ModelScope
国内服务器建议采取这种方式下载模型
新建 download.py，粘贴以下内容
from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")
启动服务
首先，需要设置模型文件位置，可以在所要运行的demo文件中设置，或者选择临时写入环境变量进行测试
export MODEL_PATH="/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b"
echo $MODEL_PATH
在basic_demo目录下提供了简单的测试demo，使用网页进行测试可能需要服务器拥有公网ip或者使用FRP等内网穿透工具。
可以通过以下命令启动基于 Gradio 的网页版 demo：
python web_demo_gradio.py
可以通过以下命令启动基于 Streamlit 的网页版 demo：
streamlit run web_demo_streamlit.py
可以通过以下命令启动命令行对话 Demo：
python cli_demo.py
效果
发表评论
