概述

智算套件推理应用支持启用链路追踪功能，接入天翼云APM应用性能监控实现调用链可视化。启用链路追踪请参考以下步骤：

操作步骤

1. 启用链路追踪需要先开通APM应用性能监控，若未开通请到应用性能监控控制台开通。

2. 创建终端节点，以建立与APM应用性能监控的连接通道。

应用性能监控控制台 -> 应用列表 -> 接入应用 -> Python -> Python探针 -> 选择推理服务所在集群的VPC，点击创建终端节点，如下截图所示：

3. 查看接入点信息 -> 通过gRPC上报数据 -> 获取ENDPOINT(天翼云VPC网络接入点)、鉴权TOKEN信息，如下截图所示：

4. 返回智算套件，根据推理应用的框架类型填充启动命令，增加环境变量、依赖安装和启动参数：

a. vLLM

增加环境变量：

export OTEL_EXPORTER_OTLP_TRACES_PROTOCOL="grpc"; 
export OTEL_EXPORTER_OTLP_TRACES_INSECURE="true"; 
export OTEL_EXPORTER_OTLP_HEADERS="x-ctg-authorization=<token-上面获取的鉴权TOKEN>"

增加vLLM启动参数：

--otlp-traces-endpoint <endpoint-上面获取的ENDPOINT>

vLLM完整示例：

export OTEL_EXPORTER_OTLP_TRACES_PROTOCOL="grpc"; export OTEL_EXPORTER_OTLP_TRACES_INSECURE="true"; export OTEL_EXPORTER_OTLP_HEADERS="x-ctg-authorization=*****"; vllm serve /data/models --served-model-name qwen3-4b --host 0.0.0.0 --trust-remote-code --tensor-parallel-size 1 --enable-prefix-caching --block-size 16 --otlp-traces-endpoint "http://apm-huadong1.cnsp-internal.ctyun.cn:27142"

vLLM示例截图：

b. SGLang

增加环境变量：

export OTEL_EXPORTER_OTLP_HEADERS="x-ctg-authorization=<token-上面获取的鉴权TOKEN>"; 
export OTEL_EXPORTER_OTLP_TRACES_PROTOCOL="grpc"; 
export OTEL_EXPORTER_OTLP_TRACES_INSECURE="true";

增加依赖安装的命令：

pip install opentelemetry-api opentelemetry-sdk opentelemetry-exporter-otlp-proto-grpc opentelemetry-exporter-otlp-proto-http

增加sglang启动参数：

--enable-trace --otlp-traces-endpoint <endpoint-上面获取的ENDPOINT>

SGLang完整示例：

export OTEL_EXPORTER_OTLP_HEADERS="x-ctg-authorization=*****"; export OTEL_EXPORTER_OTLP_TRACES_PROTOCOL="grpc"; export OTEL_EXPORTER_OTLP_TRACES_INSECURE="true"; pip install opentelemetry-api opentelemetry-sdk opentelemetry-exporter-otlp-proto-grpc opentelemetry-exporter-otlp-proto-http; python3 -m sglang.launch_server --served-model-name DeepSeek-V4-Flash-0731-W8A8-Metax --model-path /data/models --host 0.0.0.0  --enable-metrics --enable-trace --otlp-traces-endpoint http://apm-huadong1.cnsp-internal.ctyun.cn:27142

SGLang示例截图：

5. 链路追踪的依赖安装和启动过程需要3-5分钟，若设置Pod探针请酌情增加时间。