盘不够了,我应该怎么办?
如果您在模型部署过程中发现云盘的容量不够,可以采取如下措施:
根据云硬盘扩容概述-云硬盘-用户指南-扩容云硬盘 - 天翼云对已有云盘进行扩容。
新建一块数据盘并挂载,相关操作见挂载云硬盘-云硬盘-快速入门 - 天翼云、初始化数据盘-弹性云主机-快速入门 - 天翼云。
如何修改ollama模型的存储位置?
在linux环境下,ollama默认模型存储目录是 /usr/share/ollama/.ollama/models/
,我们建议您使用云硬盘独立挂载数据盘,将模型存储到数据盘中。模型存储位置是由环境变量控制的,我们需要修改ollama的环境变量重启服务才能修改存储目录,我们以 /data/ollama/models
目录为例:
打开
ollama.service
文件vi /etc/systemd/system/ollama.service
注意
请确保 ollama 用户组中的 ollama 用户具备访问该目录的读写权限。
新增相关环境变量
重启服务
systemctl daemon-reload systemctl restart ollama
使用Ollama+Open WebUI部署的镜像,登录后页面白屏等待很长时间才能进入对话页面,该怎么办?
问题描述
使用Ollama+openWebUI部署的DeepSeek公共镜像,默认会关闭OpenAI API访问,但是如果开启OpenAI API如下图所示,会导致公网访问WebUI界面加载、登录都很慢,甚至页面显示空白
当通过Open WebUI登录后,会去访问默认配置的OpenAI境外API链接,最终超时连接失败。
解决方法
使用Ollama部署的情况下,您可以在“管理员面板-设置-外部链接”中,关闭OpenAI API即可。如果您有需要使用的外部API连接,也可以按需配置API连接,并配置API密钥
如何修改 vLLM 的api-key?
服务的配置文件目录在
/var/vllm_service.env
我们将API_KEY 设置为想要的值然后重启服务
systemctl restart vllm
如何调整模型支持的最大上下文数量?
当前vLLM服务使用systemd部署,需修改service启动命令以实现上下文等服务参数调整。配置文件位于 /etc/systemd/system/vllm.service,我们编辑该文件的 --max-model-len 参数,然后重启服务即可实现参数调
重新启动服务
systemctl daemon-reload systemctl restart vllm