在科研助手使用Open WebUI对LLM模型推理 本文介绍了如何在科研助手中使用Open WebUI对LLM模型推理。 概述: Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种 LLM 运行程序,包括 Ollama 和 OpenAI 兼容的 API。 准备环境: 1.【开发机】创建开发机 1. 填入名称“openwebui”选择队列及可用区 2. 【资源配置】 【GPU加速型】在单选框中选择“NVIDIA A100” (规格根据实际情况修改 GPU类型可选择A10 A100 3060 3080) 3. 框架版本选择【社区镜像】的“vncopenwebuicuda11.3” 2.点击【确认订单】 启动开发机并登录VNC: 1. 【开发机】刷新状态,等待openwebui开发机状态进入到【运行中】状态后点击右侧操作栏【打开】。 2. 点击【打开】跳转到vnc开发机,成功进入到远程桌面中。 3. 启动Open WebUI,准备模型: 1. 点击桌面上【OI】图标,等待弹窗浏览器(第一次启动时间较长) 2. 在窗口点击【注册】输入用户名,邮箱,和密码 (信息保存在VNC开发机中,重启后需要重新注册) 3. 在窗口点击【登录】输入用户名,密码,进入对话界面 4. 在【选择一个模型】下拉框输入模型,如【llama:8b】,选择【从 Ollama.com 拉取“llama3:8b”】