接入LLM应用 本文主要介绍如何接入LLM应用 LLM应用接入 支持接入 Ollama 框架。 前提条件 完成 vpce 接入 要求 Python 3.9及以上版本 建议使用 8C16G 以上规格的云主机 接入步骤 1、安装相关依赖 plaintext pip install traceloopsdk pip install ollama 2、部署模型 (1)在云主机安装部署 Ollama,并启动。 (2)通过 Ollama 拉取 deepseekr1:1.5b 模型,并启动模型 3、查看接入点信息 在应用性能监控控制台的 “应用监控” “应用列表” 页面,点击 “接入应用” 按钮,找到 “Python” “OpenTelemetry” 下面的指引步骤 “查看接入点信息”,指引会根据您所在资源池提供 “通过 gRPC 上报数据” 的ENDPOINT(天翼云vpc网络接入点)、鉴权TOKEN信息。 4、示例代码 请将代码中的token和endpoint替换成第3步中获取的接入点信息。 plaintext from traceloop.sdk import Traceloop from opentelemetry.sdk.trace.export import BatchSpanProcessor from opentelemetry.exporter.otlp.proto.grpc.traceexporter import OTLPSpanExporter from opentelemetry.baggage.propagation import W3CBaggagePropagator from opentelemetry.sdk.resources import Traceloop.init( appname" ", resourceattributes{ TELEMETRYSDKLANGUAGE: "python", "host.name": " " }, propagatorW3CBaggagePropagator(), processorBatchSpanProcessor( OTLPSpanExporter( endpoint" ", headers[("xctgauthorization", " ")] ) ) ) from ollama import chat from ollama import ChatResponse def ollamachat(): response: ChatResponse chat(model'deepseekr1:1.5b', messages[ { 'role': 'user', 'content': 'Tell a joke of OpenTelemetry', }, ]) print(response.message.content) if name "main": ollamachat() 5、接入验证 完成接入工作后,启动 LLM 应用,应用就会向 APM 上报链路数据,在LLM应用监控将展示接入的应用。