LLM 网关可观测性
日志说明结果，调用链解释原因LLM 网关
追踪每次决策
追踪客户端、路由、供应商、流式与响应证据，更快解决生产事故。
速览
连接身份、请求数据元数据、路由策略、供应商、模型、护栏、流、用量、延迟、成本与错误追踪片段。
在不丢失单请求来源的情况下，组合请求、工具调用、反馈与用户结果。
按工作负载与策略版本比较合格候选、所选路由、回退原因与长期结果。
脱敏、采样、保留、访问、区域存储、导出与删除决定丰富遥测是否安全有用。
可观测产品强调不同问题
Gateway 套件把路由控制与流量证据结合；可观测优先平台以 Trace、Session、Prompt、Evaluation 与 Feedback 为中心；通用遥测栈接收 OpenTelemetry 信号，但仍需要 AI 特定语义约定与产品工作流。
应区分 Dashboard 经常混在一起的四类问题。运维关心请求是否在延迟与容量目标内成功；财务关心哪个租户、路由、模型、缓存、工具与重试产生费用；AI 质量关心最终结果是否通过工作负载 Rubric；治理关心谁获准把哪些数据发送到哪个 Provider、区域与保留策略。一个 Trace 可以连接证据，但每类问题都需要独立字段与访问控制。
缺失标识或转换无法靠 Dashboard 弥补。应在客户端捕获 Trace Context，使其穿过每个 Proxy 与 Provider Adapter；执行前记录冻结候选集合和路由决策；每次尝试附上原生 Provider Request ID；响应后关联用户可见结果。转换过程需要可追踪，但默认不应存储原始敏感 Prompt。
可观测实现方式
| 方式 | 最适合 | 选择前验证 |
|---|---|---|
| 网关集成证据 | 同一系统负责路由，并记录所选供应商、回退、护栏、用量与成本。 | 验证导出、保留、会话分组、评估、反馈及与同步路径的解耦。 |
| 可观测优先平台 | 提供请求、调用链、会话、提示词、评分、成本与反馈的深入开发工作流。 | 明确如何捕获路由策略与网关决策，以及另一代理是否增加重复重试。 |
| OpenTelemetry 管线 | 以供应商中立方式把指标、日志与调用链收集到现有企业运营体系。 | 定义 AI 语义字段、敏感数据策略、评估关联与产品特定事故视图。 |
| 数据仓库分析 | 跨用量、成本、实验、质量与业务结果提供灵活长期分析。 | 实时诊断可能较慢；需保留请求级 ID、结构定义、新鲜度与事实来源规则。 |
| 应用内日志 | 起步快，可针对单一产品完全定制。 | 技术栈增长后，供应商变化、会话、工具、回退与跨团队治理会碎片化。 |
四类证据契约
调用链、请求、会话、租户、User、工作负载、Experiment、提示词/Version 与 Policy ID。
合格候选、评分、所选模型/供应商/端点、路由原因、重试、回退、缓存与护栏。
TTFT、总延迟、流事件、输入/输出/Reasoning/缓存 Token、原生用量、标准化成本与供应商回执。
结构定义有效性、工具成功、评估、反馈、业务结果、采样、脱敏、保留、访问与删除。
使用故障会话测试
选择一个有代表性的多步骤 Session，并明确值班工程师必须还原的内容：用户可见故障、租户、策略版本、合格候选、最终路由、每次 Provider 尝试、转换、Tool Call、用量、费用与最终恢复。随后注入故障，不向工程师额外提供应用日志或数据库访问。只有可观测系统自身的证据足以解释并验证结果，测试才算通过。
- 对一个负载做端到端埋点，验证 Trace 在客户端、Gateway、Provider、工具层与应用响应之间连续。
- 注入超时、429、5xx、流格式错误或中断、Guardrail 拒绝、Schema 失败、Provider Fallback 与重复重试。
- 测试遥测丢失、Exporter 背压、Sampling 与存储中断；请求路径必须具备明确的安全行为。
- 只向工程师提供可观测系统，并计时检测、还原、定位根因、缓解与验证恢复。
- 用 Provider 记录和账单核对请求数、Token 与工具用量、重试、缓存事件和成本。
- 测试基于角色的访问、Prompt 与 Secret 脱敏、区域存储、导出、保留、删除与访问复核。
在效果发生前捕获决策
为认证、资格、评分、路由决策、供应商尝试、流、护栏与响应创建追踪片段。决策时冻结策略输入与候选评分；在支持时通过供应商元数据携带调用链上下文，并把原生请求 ID 映射回网关调用链。遥测应异步发送，使用有界缓冲与安全故障模式。
生产规则：如果证据无法重现路由为何发生，系统只是在监控流量，而不是观测决策。
让调用链从推理延伸到外部行动
网关调用链解释模型调用；QVeris 为外部 API 与工具增加 search_id、execution_id、能力契约、预估成本、下游延迟与结果。传播同一工作流调用链，把推理证据连接到行动证据。
FAQ
至少记录身份、调用链、路由策略、模型/供应商、尝试、错误、延迟、用量与成本，并治理请求数据。
日志记录离散事件，调用链表达跨组件与尝试的因果关系，指标汇总整体行为。
只有在明确的数据分类、脱敏、同意、访问、区域、保留与删除策略下才应存储。