天翼云官网获取模型调用APP key等信息

模型API终端请求地址

  请求地址

API终端请求地址：https://wishub-x1.ctyun.cn/v1/chat/completions

  通信协议

  接口通过 HTTPS 进行通信，保护用户数据的机密性和完整性，确保网络通信的安全性。

  请求方法

• 支持的 HTTP 请求方法：POST。

• POST 请求支持的 Content-Type 类型：application/json。

获取模型调用APP key

• 访问天翼云息壤deepseek活动页地址：https://www.ctyun.cn/act/xirang/deepseek，选择“立即体验”。

• 登录天翼云账户，进入“体验中心”后切换到“服务接入”。 

• 在“服务接入”下面，创建建服务组。选择默认勾选的模型即可。

• 创建服务组后，从服务组上面获取APP KEY。

获取调用的模型名称

• 左侧导航栏切换到”模型广场“，选择对应想要调用的模型。

• 获取模型ID作为模型名称。

例如下图中模型ID为 : 4bd107bff85941239e27b1509eccfe98

DeepSeek模型版本选择参考：

• DeepSeek-R1：适合需要高级推理能力和高精度的复杂任务，如科研、金融建模等。响应时间相对长。

• DeepSeek-V3：适合需要快速响应和高性价比的通用自然语言处理任务，如智能客服、内容生成等。响应时间相对短。

手动验证key的可用性

下列请求为DeepSeek-R1-昇腾版请求样例，如果正常返回deepseek回答，代表没有问题。

curl --location 'https://wishub-x1.ctyun.cn/v1/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer 替换成自己的APP KEY' \
--data '{
    "messages": [
        {
            "role": "system",
            "content": "You are a test assistant."
        },
        {
            "role": "user",
            "content": "Testing. Just say hi and nothing else."
        }
    ],
    "model": "4bd107bff85941239e27b1509eccfe98"
}'

Chatbox

访问链接：https://web.chatboxai.app/

点击Setting，然后配置Api Host、API path、API key和Model，就可以使用了。

如遇上述报错，建议重新开启一个对话，再次尝试即可。

CherryStudio

访问链接：https://cherry-ai.com/

按照下图配置即可。

一旦出现以下报错，重新开启一个对话，再次尝试，则可以看到正确的对话。

Langchain

参考langchain的自定义模型文档通过OpenAI协议调用即可。

from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage

def main():
    # 初始化LangChain模型，配置自定义API端点
    llm = ChatOpenAI(
        model_name="9dc913a037774fc0b248376905c85da5",  # 自定义模型名称
        # 从环境变量获取API密钥，如果没有设置，也可以直接终端执行export TYY_API_KEY="xxx"
        openai_api_key=os.getenv("XIRANG_API_KEY")
        openai_api_base="https://wishub-x1.ctyun.cn/v1",  # API基础URL
        temperature=0.7
    )

    # 创建一个聊天消息
    message = HumanMessage(content="你是谁")
    
    # 使用LangChain进行对话
    response = llm([message])
    print(response.content)


if __name__ == "__main__":
    main()

Dify

拉取dify镜像到本地

# 如果本地已安装dify可以忽略
# 假设当前最新版本为 0.15.3
git clone https://github.com/langgenius/dify.git --branch 0.15.3

修改配置参数

cd docker
mv .env.example .env

启动并验证

#执行:
docker compose up -d
# 等服务启动访问
http://localhost/apps

配置天翼云息壤模型

配置方式一：直接配置方式（所有版本均可使用）

通过直接配置OpenAI-API-compatible支持，配置方式如下：

配置方式二：使用息壤镜像配置方式（仅支持0.15.3版本）

修改env配置

cd docker
#在.env文件添加
CUSTOM_MODEL_ENABLED=true
OLLAMA_API_BASE_URL=host.docker.internal:11434

修改下api和work的镜像地址，改为增加了xirang模型供应商的dify 0.15.3版本。

修改后需要重启dify。

services:
  # API service with Xirang model provider
  api:
    image: telecom-eci-huadong1-crs-registry-huadong1.crs.ctyun.cn/xirang/dify-with-xirang:0.15.3 # 原来为langgenius/dify-api:0.15.3
    
    
   # worker service
  # The Celery worker for processing the queue.
  worker:
    image: telecom-eci-huadong1-crs-registry-huadong1.crs.ctyun.cn/xirang/dify-with-xirang:0.15.3 # 原来为langgenius/dify-api:0.15.3

在个人设置里面点击模型供应商，选择天翼云模型。

点击保存后，可以看到模型的配置。

其他非预置模型：

配置对话助手

常见问题（0.15.3版本）

如遇到无法展示问题，可能是因为您的dify版本为最新版，我们目前还不支持，可执行以下操作切换到0.15.3版本并重启服务。

dify插件需要切换版本重新启动服务才可以达成兼容
git clone  https://gitcode.com/gh_mirrors/di/dify.git 
cd dify
git checkout 7796984444191c639bd3c541a44e832b17ad1cae

如遇到息壤镜像失败问题，可切换到dify原始镜像，通过配置直接配置OpenAI-API-compatible支持，配置方式如下：

Obsidian copilot

• 打开 Obsidian，进入设置面板，选择“社区插件”。

• 关闭“安全模式”，点击“浏览”按钮搜索“Copilot for Obsidian”并安装。

• 安装完成后，启用插件。

Ragflow

• 下载镜像git clone https://github.com/infiniflow/ragflow.git

• 通过docker安装并启动。

cd ragflow/docker
docker compose -f docker-compose-CN.yml up -d

• 检查 RAGFlow 服务是否正常启动。

docker logs -f ragflow-server

如果看到类似以下输出，则表示启动成功：

    * Running on all addresses (0.0.0.0)
    * Running on http://127.0.0.1:9380
    * Running on http://x.x.x.x:9380

• 打开浏览器配置模型Xinference服务提供商。

在浏览器中输入服务器的 IP 地址访问 RAGFlow。默认情况下，RAGFlow 使用 HTTP 端口 80，因此无需输入端口号。

选择“Xinference”模型服务商（ Xinference是工厂配置，支持自定义模型名称）。

配置chatmodel的界面如下：

回到对话界面，配置聊天助手：

开启对话：

Cline

按照下图配置即可。注意baseUrl配置：https://wishub-x1.ctyun.cn/v1

配置完成后即可开启对话：

Maxkb

通过docker命令拉取部署

docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb

启动后，浏览器访问http://localhost:8080

初始用户名：admin

初始密码：见https://maxkb.cn/docs/installation/offline_installtion/#4

按照下图配置即可。注意baseUrl配置：https://wishub-x1.ctyun.cn/v1

AnythingLLM

按照下图配置即可。注意baseUrl配置：https://wishub-x1.ctyun.cn/v1

配置完成后即可开启对话：

常见报错

role参数错误，user后应为assistant

• 问题原因：模型setting首次配置错误，更改配置后，因本次对话包含历史错误信息，仍然会报错。

• 解决方案：开启一个全的对话即可。

400 role参数错误，不能以assistant开头

• 问题原因：模型setting首次配置错误，更改配置后，因为本次对话包含历史错误信息，导致仍然会报错。

• 解决方案：开启一个全的对话即可。

API statuscode429：DEEP_SEEK_MODEL_CONCURRENCY_LIMIT

报错信息为：[openai_api_compatible]Error:APIrequestfailedwithstatuscode429:{"code":700007,"detail":"Deepseek模型并发已达上限","message":"DEEP_SEEK_MODEL_CONCURRENCY_LIMIT","error":{"code":"700007","message":"Deepseek模型并发已达上限","type":"DEEP_SEEK_MODEL_CONCURRENCY_LIMIT"}} 

• 问题原因：大模型并发是大模型的并发能力，和用户、tokens是否用完都无关，只和机器负载能力有关。目前单个模型有固定的并发度，这是所有ds模型共享的并发度，只能支持固定个请求同时访问。

• 解决方案：等一段时间再调用，或增加重试机制。

API 直连调用耗时长

• 问题原因：大模型API同步耗时长是因为其推理过程复杂，需要逐个生成token并拼接结果，且在处理长文本或复杂问题时，等待完整结果返回的时间过长。而流式API可以在推理过程中逐步返回结果，用户无需等待全部结果生成，从而提升交互效率。

• 解决方案：改为流式调用。