LLM应用接入

支持接入 Ollama 框架。

前提条件

• 完成 vpce 接入

• 要求 Python 3.9及以上版本

• 建议使用 8C16G 以上规格的云主机

接入步骤

1、安装相关依赖

pip install traceloop-sdk
pip install ollama

2、部署模型

（1）在云主机安装部署 Ollama，并启动。

（2）通过 Ollama 拉取 deepseek-r1:1.5b 模型，并启动模型

3、查看接入点信息

在应用性能监控控制台的 “应用监控” - “应用列表” 页面，点击 “接入应用” 按钮，找到 “Python” - “OpenTelemetry” 下面的指引步骤 “查看接入点信息”，指引会根据您所在资源池提供 “通过 gRPC 上报数据” 的ENDPOINT(天翼云vpc网络接入点)、鉴权TOKEN信息。

4、示例代码

请将代码中的token和endpoint替换成第3步中获取的接入点信息。

from traceloop.sdk import Traceloop
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.grpc.trace_exporter import OTLPSpanExporter
from opentelemetry.baggage.propagation import W3CBaggagePropagator
from opentelemetry.sdk.resources import *

Traceloop.init(
    app_name="<service_name>",
    resource_attributes={
        TELEMETRY_SDK_LANGUAGE: "python",
        "host.name": "<host_name>"
    },
    propagator=W3CBaggagePropagator(),
    processor=BatchSpanProcessor(
        OTLPSpanExporter(
        endpoint="<endpoint>",
        headers=[("x-ctg-authorization", "<token>")]
        )
    )
)
    
from ollama import chat
from ollama import ChatResponse
def ollama_chat():
    response: ChatResponse = chat(model='deepseek-r1:1.5b', messages=[
    {
        'role': 'user',
        'content': 'Tell a joke of OpenTelemetry',
    },
    ])
    print(response.message.content)
    
if __name__ == "__main__":
    ollama_chat()

5、接入验证

完成接入工作后，启动 LLM 应用，应用就会向 APM 上报链路数据，在LLM应用监控将展示接入的应用。