基于Anything LLM实现云主机外挂Embedding模型、向量数据库的最佳实践指南 指定宿主机核容器内服务到的端口映射,可自主选择 capadd SYSADMIN Docker 命令中的一个选项,用于给容器添加额外的 Linux 内核能力 v ${STORAGELOCATION}:/app/server/storage 服务启动数据宿主机目录和容器目录的映射 v ${STORAGELOCATION}/.env:/app/server/.env 服务启动环境变量配置文件,宿主机和容器的映射 e STORAGEDIR"/app/server/storage" 容器内的环境变量,指定服务数据在容器内存放目录 mintplexlabs/anythingllm 4. 登录Anything LLM 接入GPU物理机提供的DS模型 1. 登录Anything LLM,选择设置LLM首选项。 2. 设置“Local AI Base URL",其中”Local AI Base URL“填充GPU物理机DS地址和端口,然后保存。 Embedding模型 不同的任务需要不同的模型和数据库支持。如信息检索任务,需要 embedding 模型能准确捕捉文本语义信息,向量数据库具备高效的检索功能;对于推荐系统任务,模型要能挖掘用户和物品的潜在特征,数据库要支持快速的相似性计算。 Anything LLM支持多种Embedding模型引擎,包括AnythingLLM Native Embedder (default)、OpenAI、Azure OpenAI、LocalAi (all)、Ollama (all)、LM Studio (all)、Cohere。下面以LocalAi (all)使用BGE M3模型为例说明,其他请参考对应软件官网安装使用。 1. 创建GPU云主机并开放安全组规则。 BGE M3 是一款文本嵌入模型,在部署使用时,云主机配置会受任务类型(如推理、训练)、数据规模、并发请求数量等因素影响。如果是训练任务建议使用1张A100,其他任务可根据实际需求创建规格。创建步骤请参考创建配备GPU驱动的GPU云主机(Linux)GPU云主机用户指南创建GPU云主机 天翼云。 安全组放开Anything LLM云主机弹性IP+端口8000,参考添加安全组规则弹性云主机用户指南安全安全组配置安全组规则 天翼云。 2. 下载模型 2.1.安装依赖包 参考文档在天翼云使用vLLM运行DeepSeek的最佳实践32B等版本自定义部署DeepSeek步骤三:手动部署DeepSeek > 1.安装依赖包。 2.2.下载BGE M3模型 将以下内容保存为 modeldownload.py 文件,参数 cachedir 为模型的下载路径,您可以按需修改,需确保存储空间足够存放模型。 plaintext from modelscope import snapshotdownload modeldir snapshotdownload('BAAI/bgem3', cachedir'/root/modelpath', revision'master') 运行该文件,启动模型下载。 plaintext python modeldownload.py 2.3.运行模型 plaintext vllm serve BAAI/bgem3 servedmodelname bgem3 gpumemoryutilization 0.95 enforce 3. 配置Embedding模型引擎 4. 使用Embedding模型引擎