支持的 LLM 组件与框架

LLM 应用可以基于 Traceloop 开源的 Opentelemetry 项目进行接入，该项目完全兼容 OpenTelemetry 协议标准，能够和其他使用 OpenTelemetry 方案接入的应用实现链路信息互通。

OpenLLMetry 项目支持众多 LLM 组件与框架的自动埋点，以下列出其中一部分。

前提条件

完成vpce接入。

接入步骤

1、安装 traceloop-sdk

通过pip命令安装 traceloop-sdk，其中包含了对 OpenLLMetry 以及 OpenTelemetry-SDK 的相关依赖。

pip install traceloop-sdk

2、查看接入点信息

应用列表的接入指引会根据您所在资源池提供“通过 HTTP 上报数据”和“通过 gRPC 上报数据”的ENDPOINT(天翼云vpc网络接入点)、鉴权TOKEN信息。

3、示例代码

请将代码中的token和endpoint替换成第2步中获取的接入点信息

from traceloop.sdk import Traceloop
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.grpc.trace_exporter import OTLPSpanExporter
from opentelemetry.baggage.propagation import W3CBaggagePropagator

Traceloop.init(
    app_name="<service_name>",
    resource_attributes={
        "host.name": "<host_name>"
    },
    propagator=W3CBaggagePropagator(),
    processor=BatchSpanProcessor(
        OTLPSpanExporter(
        endpoint="<endpoint>",
        headers=[("x-ctg-authorization", "<token>")]
        )
    )
)
    
from ollama import chat
from ollama import ChatResponse
def ollama_chat():
    response: ChatResponse = chat(model='deepseek-r1:1.5b', messages=[
    {
        'role': 'user',
        'content': 'Tell a joke of OpenTelemetry',
    },
    ])
    print(response.message.content)
    
if __name__ == "__main__":
    ollama_chat()

4、接入验证

完成接入工作后，启动 LLM 应用，应用就会向 APM 上报链路数据，在LLM应用监控将展示接入的应用。