安全切换 LLM 供应商
更换 LLM 供应商是一场行为迁移；应比较协议与模型语义、回放真实负载、按风险灰度并保留已验证回滚。
速览
直接答案：切换 LLM 供应商应当是一场可逆迁移，而不是一次性改代码。先冻结当前基线并盘点依赖，再建立行为级兼容矩阵，评测代表性负载，双轨运行新旧供应商，以有限风险进行灰度，并在完成回滚演练前让旧路径保持热备用。
找出每个模型、端点、SDK、密钥、提示词、工具、结构定义、流式逻辑、策略、数据条款、仪表盘与计费依赖。
相同 JSON 也可能产生不同的工具调用、结构化输出、流事件、安全结果、错误、用量、延迟与成本。
让获批、接近生产的请求同时经过两条路径，对比结构、语义、运营与经济证据。
在稳定窗口与回滚演练通过前，保留旧凭证、路由、配额、仪表盘、支持联系人与运行手册。
先定义迁移范围与成功标准
“更换供应商”过于宽泛，无法直接执行。要先明确迁移的是一个模型、一个工作负载、全部文本生成、Embedding、图像或音频端点、微调、批处理，还是整个供应商账户。同时写清业务动因：可用性、价格、能力、区域、合同、延迟或供应商风险。迁移动因决定哪些差异可以接受。
| 成功维度 | 示例验收标准 | 回滚触发条件 |
|---|---|---|
| 任务质量 | 重点用户组无实质回归，关键不变量始终通过 | 关键工具、结构或安全失败超过阈值 |
| 可靠性 | 预期负载下完成率与错误率达到现有 SLO | 超时、限流或流中断率突破门槛 |
| 性能 | 各用户组首 Token 与总延迟保持在预算内 | 尾延迟影响用户体验目标 |
| 经济性 | 计入重试与人工审核后，成功任务成本有所改善 | 每个可接受结果的成本超过上限 |
为什么只换基础地址（Base URL）不够
兼容目标可能接受相同 JSON，却在模型行为、默认参数、工具调用、结构化输出、流事件、错误、用量核算、延迟、价格、策略与数据处理上不同。应用可能在语法层面健康，但结果已经回归。
把迁移视为一系列可逆 Gate：盘点、兼容矩阵、Golden 测试、双轨、Diff、灰度与回滚就绪切换。每个 Gate 都有工作负载特定验收标准与负责人。
盘点所有与供应商绑定的依赖
应搜索代码、配置、密钥系统、CI、仪表盘、运行手册、Notebook、评测任务与支持文档，并访谈实际运营这些负载的团队。单纯代码搜索往往找不到控制台中的手工设置、供应商侧提示词、微调任务、批处理、白名单、账户限额或账单分摊规则。
SDK、端点路径、认证、模型名称、请求字段、流式解析、错误、重试、响应对象与供应商专有扩展。
系统提示词、模板、工具、JSON Schema、停止条件、上下文组装、会话状态、RAG、多模态输入与输出后处理。
限流、配额、密钥、区域、仪表盘、告警、状态页、支持升级、日志、调用链、预算控制与事故流程。
保留、训练使用、次级处理方、数据区域、删除、导出、计价维度、折扣、承诺消费、Credits 与终止义务。
迁移 Gate 与退出标准
| Gate | 最适合 | 选择前验证 |
|---|---|---|
| 盘点 | 完整映射应用、工作负载与运营依赖。 | 不存在未知生产调用方、密钥、扩展、工具、数据策略或计费负责人。 |
| 兼容矩阵 | 逐字段、逐行为比较。 | 每个必需差距都有缓解、类型化扩展或明确阻断。 |
| Golden 测试 | 确定性工作负载测试集与可接受不变量。 | 目标通过必需工具、结构定义、流、错误、安全与输出检查。 |
| 双轨与 Diff | 当前与目标执行相同代表性流量。 | 结构、语义、用量、延迟与成本差异位于验收范围。 |
| 灰度与切换 | 小规模、有风险边界的流量在实时 Gate 下迁移。 | 质量与 SLO 稳定；回滚开关、证据与负责人就绪。 |
比较行为，而不只比较结构定义
工具、严格输出、推理、上下文、模态、流与停止行为。
超时、状态码、错误体、限流提示、可重试性与部分流。
原生用量单位、价格维度、延迟分布、重试与审核成本。
数据条款、区域、保留、安全、版本、弃用与支持。
围绕生产决策构建评测集
随机提示词基准无法证明迁移安全。评测集应覆盖真实工作负载：短输入与长输入、困难语言、工具密集请求、严格结构、安全敏感场景、高价值客户、大上下文与历史失败样本。回放前必须先脱敏或获得数据使用批准。
确定性不变量应与主观质量分开评估。JSON 必须可解析、必填字段必须存在、工具参数必须通过校验、禁止动作不得发生、引用必须可解析，且副作用必须保持禁用。开放式质量则采用校准过的人工评审或经过验证的 Judge，并使用盲测顺序、分用户组阈值与分歧分析。
安全双轨，并比较真正可接受的结果
双轨运行是把同一个获批的逻辑请求同时发送到当前与目标路径，但只有一条路径可以产生用户可见输出或副作用。影子路径上的工具执行、邮件、支付、数据库写入与外部动作必须禁用，或者具备严格幂等性。
对比时既要保留标准化证据，也要保留原生证据。标准化字段便于跨供应商比较任务、状态、延迟、成本与结果是否可接受；原生字段则保留模型标识、结束原因、Token 分类、安全信号、工具细节和请求 ID，用来解释差异。
按风险灰度，而不只是按百分比
全球 1% 的流量仍可能包含最敏感客户或影响最大的工具动作。应先从内部用户、可逆负载、非受监管数据与明确同意参与的客户开始，再按工作负载、租户、区域、语言、功能或流量切片逐步扩大。
自动停止条件应覆盖关键不变量失败、错误率、超时率、流中断、工具校验、用户纠正、支持工单、每个可接受任务的成本与安全结果。触发停止后应冻结扩量并把新流量切回旧路径，但不能销毁证据，也不应立即下线目标路径。
比较每个可接受任务的成本，而不是只看 Token 单价
单价更低的模型可能需要更长提示词、更多重试、额外校验、更多人工审核或第二次处理；更快的模型即使 Token 更贵，也可能降低基础设施成本与用户流失。宣布节省前，应把供应商账单与网关或应用遥测完成对账。
经济性公式：每个可接受任务的成本 = 供应商费用 + 重试 + 网关/平台费用 + 评测与审核 + 新增基础设施 + 失败补救。
处理完数据、合同与生命周期义务
技术切换完成并不等于迁移结束。仍需导出后续必须使用的历史用量、账单、评测记录、微调产物、批处理结果、提示词与配置。还要确认旧供应商保留哪些数据、如何申请并证明删除、Credits 何时到期、承诺消费如何终止，以及稳定窗口期间能否继续获得支持。
新路径应建立完整的模型生命周期记录，包括供应商、账户、区域、模型与版本策略、别名、责任人、发布日期、评测包、审批、数据分类、价格版本、支持联系人、弃用信息来源与替代计划。如果迁移只是移除了一个未记录依赖，又新建了另一个未记录依赖，就没有真正降低锁定。
最终验收前，旧路径应保持隔离但可用。“热备用”不代表必须持续接收正常流量，而是凭证、容量、配置、网络、监控与人员知识仍足以在回滚目标时间内恢复服务。这个状态必须通过测试证明，不能依靠假设。
LLM 供应商切换检查表
范围、责任人、基线、兼容矩阵、测试用户组、数据审批、目标配额、支持联系人、仪表盘与回滚路径全部就绪。
关键不变量通过，副作用已隔离，遥测可对账，停止条件已自动化，值班人员具备权限，旧供应商容量仍然可用。
在约定灰度窗口内，质量、可靠性、延迟、成本、安全与数据处理均达到各用户组阈值。
回滚演练通过，账单核对完成，历史数据已导出，保留与删除义务已履行，合同可以安全终止。
执行可逆迁移
- 冻结当前生产基线并收集代表性工作负载样本。
- 契约测试目标，并在执行前阻断不支持的必需能力。
- 使用已脱敏或批准数据双轨运行，并存储可比证据。
- 按工作负载风险、租户或流量切片灰度，并设置自动停止 Gate。
- 在稳定窗口与回滚演练通过前，让旧路由保持热备用。
在两个供应商之上设置迁移开关
应用调用稳定工作负载接口；版本化路由策略把批准流量发送到当前、目标或双轨路径；供应商适配器保留显式差异；Diff Pipeline 比较标准化与原生证据；灰度 Gate 渐进改变策略，回滚开关无需重新部署应用即可恢复旧路由。
生产规则：在生产相似负载下完成回滚演练前，不得下线旧路径。
切换 LLM 供应商的常见错误
迁移忽略工具、严格结构、长上下文、流中断、多模态输入、限流、安全场景与异常响应。
输出变化后，团队无法判断原因来自模型、提示词、路由、温度还是重试策略。
目标路径重复发送消息、写入数据、调用工具或产生费用，因为所谓“影子执行”没有真正隔离。
平均值会掩盖重要语言、租户、少见工具、安全用户组或高价值流程中的失败。
新路径尚未通过回滚演练，旧凭证、配额、数据导出、支持权限或容量就已经消失。
请求字段相同会掩盖端点支持、工具、流事件、错误、Token 统计与供应商专有能力上的差异。
模型迁移期间保持能力集成稳定
QVeris 位于模型网关之上，作为外部 API、工具、服务与实时数据的互补接口。在推理供应商变化时保持这些能力契约与调用链字段稳定，从而把模型迁移与智能体依赖的真实世界集成隔离。
只有契约证据通过后才切换配置
把供应商切换当作一次有 Artifact 的发布：记录准确模型、端点、适配器 Version、测试结果、Rollout Cohort 与 Rollback Target，使可逆路由 Change 与应用部署分离。
- 一次只改变一个维度：路由、模型、提示词或 Retry Policy。
- 只有数据条款允许且输出不会产生副作用时才使用 Shadow Traffic。
- 逐步推广，并保留成功与回滚决策的证据。
实施参考已根据官方资料核验：OpenTelemetry GenAI conventions。
仅适用于测试证明目标保留全部必需行为的非常简单负载。
代表性生产负载，尤其是工具、严格结构定义、流与故障路径。
在稳定窗口、核对、事故复盘与成功回滚演练之后。
更多 LLM 供应商迁移问题
同一个获批的逻辑负载同时在两个供应商上执行，但只有一条路径可以产生用户可见输出或副作用，然后对比结构、语义、性能、用量与成本证据。
按工作负载、租户、区域、语言、功能或流量切片进行有限风险灰度，设置自动停止条件，只有在质量与服务目标稳定时才继续扩量。
使用产品自有的工作负载接口、显式适配器、稳定任务别名、可移植提示词与 Schema、一致性测试、原生遥测和经过验证的路由开关。
官方资料与延伸阅读
供应商 API 与模型行为会持续变化。迁移前应核对涉及的每个端点、模型、区域、配额、安全设置、数据条款与弃用计划的最新一手文档。
更换 LLM 供应商是一场行为迁移；应比较协议与模型语义、回放真实负载、按风险灰度并保留已验证回滚。
速览
直接答案：切换 LLM 供应商应当是一场可逆迁移，而不是一次性改代码。先冻结当前基线并盘点依赖，再建立行为级兼容矩阵，评测代表性负载，双轨运行新旧供应商，以有限风险进行灰度，并在完成回滚演练前让旧路径保持热备用。
找出每个模型、端点、SDK、密钥、提示词、工具、结构定义、流式逻辑、策略、数据条款、仪表盘与计费依赖。
相同 JSON 也可能产生不同的工具调用、结构化输出、流事件、安全结果、错误、用量、延迟与成本。
让获批、接近生产的请求同时经过两条路径，对比结构、语义、运营与经济证据。
在稳定窗口与回滚演练通过前，保留旧凭证、路由、配额、仪表盘、支持联系人与运行手册。
先定义迁移范围与成功标准
“更换供应商”过于宽泛，无法直接执行。要先明确迁移的是一个模型、一个工作负载、全部文本生成、Embedding、图像或音频端点、微调、批处理，还是整个供应商账户。同时写清业务动因：可用性、价格、能力、区域、合同、延迟或供应商风险。迁移动因决定哪些差异可以接受。
| 成功维度 | 示例验收标准 | 回滚触发条件 |
|---|---|---|
| 任务质量 | 重点用户组无实质回归，关键不变量始终通过 | 关键工具、结构或安全失败超过阈值 |
| 可靠性 | 预期负载下完成率与错误率达到现有 SLO | 超时、限流或流中断率突破门槛 |
| 性能 | 各用户组首 Token 与总延迟保持在预算内 | 尾延迟影响用户体验目标 |
| 经济性 | 计入重试与人工审核后，成功任务成本有所改善 | 每个可接受结果的成本超过上限 |
为什么只换基础地址（Base URL）不够
兼容目标可能接受相同 JSON，却在模型行为、默认参数、工具调用、结构化输出、流事件、错误、用量核算、延迟、价格、策略与数据处理上不同。应用可能在语法层面健康，但结果已经回归。
把迁移视为一系列可逆 Gate：盘点、兼容矩阵、Golden 测试、双轨、Diff、灰度与回滚就绪切换。每个 Gate 都有工作负载特定验收标准与负责人。
盘点所有与供应商绑定的依赖
应搜索代码、配置、密钥系统、CI、仪表盘、运行手册、Notebook、评测任务与支持文档，并访谈实际运营这些负载的团队。单纯代码搜索往往找不到控制台中的手工设置、供应商侧提示词、微调任务、批处理、白名单、账户限额或账单分摊规则。
SDK、端点路径、认证、模型名称、请求字段、流式解析、错误、重试、响应对象与供应商专有扩展。
系统提示词、模板、工具、JSON Schema、停止条件、上下文组装、会话状态、RAG、多模态输入与输出后处理。
限流、配额、密钥、区域、仪表盘、告警、状态页、支持升级、日志、调用链、预算控制与事故流程。
保留、训练使用、次级处理方、数据区域、删除、导出、计价维度、折扣、承诺消费、Credits 与终止义务。
迁移 Gate 与退出标准
| Gate | 最适合 | 选择前验证 |
|---|---|---|
| 盘点 | 完整映射应用、工作负载与运营依赖。 | 不存在未知生产调用方、密钥、扩展、工具、数据策略或计费负责人。 |
| 兼容矩阵 | 逐字段、逐行为比较。 | 每个必需差距都有缓解、类型化扩展或明确阻断。 |
| Golden 测试 | 确定性工作负载测试集与可接受不变量。 | 目标通过必需工具、结构定义、流、错误、安全与输出检查。 |
| 双轨与 Diff | 当前与目标执行相同代表性流量。 | 结构、语义、用量、延迟与成本差异位于验收范围。 |
| 灰度与切换 | 小规模、有风险边界的流量在实时 Gate 下迁移。 | 质量与 SLO 稳定；回滚开关、证据与负责人就绪。 |
比较行为，而不只比较结构定义
工具、严格输出、推理、上下文、模态、流与停止行为。
超时、状态码、错误体、限流提示、可重试性与部分流。
原生用量单位、价格维度、延迟分布、重试与审核成本。
数据条款、区域、保留、安全、版本、弃用与支持。
围绕生产决策构建评测集
随机提示词基准无法证明迁移安全。评测集应覆盖真实工作负载：短输入与长输入、困难语言、工具密集请求、严格结构、安全敏感场景、高价值客户、大上下文与历史失败样本。回放前必须先脱敏或获得数据使用批准。
确定性不变量应与主观质量分开评估。JSON 必须可解析、必填字段必须存在、工具参数必须通过校验、禁止动作不得发生、引用必须可解析，且副作用必须保持禁用。开放式质量则采用校准过的人工评审或经过验证的 Judge，并使用盲测顺序、分用户组阈值与分歧分析。
安全双轨，并比较真正可接受的结果
双轨运行是把同一个获批的逻辑请求同时发送到当前与目标路径，但只有一条路径可以产生用户可见输出或副作用。影子路径上的工具执行、邮件、支付、数据库写入与外部动作必须禁用，或者具备严格幂等性。
对比时既要保留标准化证据，也要保留原生证据。标准化字段便于跨供应商比较任务、状态、延迟、成本与结果是否可接受；原生字段则保留模型标识、结束原因、Token 分类、安全信号、工具细节和请求 ID，用来解释差异。
按风险灰度，而不只是按百分比
全球 1% 的流量仍可能包含最敏感客户或影响最大的工具动作。应先从内部用户、可逆负载、非受监管数据与明确同意参与的客户开始，再按工作负载、租户、区域、语言、功能或流量切片逐步扩大。
自动停止条件应覆盖关键不变量失败、错误率、超时率、流中断、工具校验、用户纠正、支持工单、每个可接受任务的成本与安全结果。触发停止后应冻结扩量并把新流量切回旧路径，但不能销毁证据，也不应立即下线目标路径。
比较每个可接受任务的成本，而不是只看 Token 单价
单价更低的模型可能需要更长提示词、更多重试、额外校验、更多人工审核或第二次处理；更快的模型即使 Token 更贵，也可能降低基础设施成本与用户流失。宣布节省前，应把供应商账单与网关或应用遥测完成对账。
经济性公式：每个可接受任务的成本 = 供应商费用 + 重试 + 网关/平台费用 + 评测与审核 + 新增基础设施 + 失败补救。
处理完数据、合同与生命周期义务
技术切换完成并不等于迁移结束。仍需导出后续必须使用的历史用量、账单、评测记录、微调产物、批处理结果、提示词与配置。还要确认旧供应商保留哪些数据、如何申请并证明删除、Credits 何时到期、承诺消费如何终止，以及稳定窗口期间能否继续获得支持。
新路径应建立完整的模型生命周期记录，包括供应商、账户、区域、模型与版本策略、别名、责任人、发布日期、评测包、审批、数据分类、价格版本、支持联系人、弃用信息来源与替代计划。如果迁移只是移除了一个未记录依赖，又新建了另一个未记录依赖，就没有真正降低锁定。
最终验收前，旧路径应保持隔离但可用。“热备用”不代表必须持续接收正常流量，而是凭证、容量、配置、网络、监控与人员知识仍足以在回滚目标时间内恢复服务。这个状态必须通过测试证明，不能依靠假设。
LLM 供应商切换检查表
范围、责任人、基线、兼容矩阵、测试用户组、数据审批、目标配额、支持联系人、仪表盘与回滚路径全部就绪。
关键不变量通过，副作用已隔离，遥测可对账，停止条件已自动化，值班人员具备权限，旧供应商容量仍然可用。
在约定灰度窗口内，质量、可靠性、延迟、成本、安全与数据处理均达到各用户组阈值。
回滚演练通过，账单核对完成，历史数据已导出，保留与删除义务已履行，合同可以安全终止。
执行可逆迁移
- 冻结当前生产基线并收集代表性工作负载样本。
- 契约测试目标，并在执行前阻断不支持的必需能力。
- 使用已脱敏或批准数据双轨运行，并存储可比证据。
- 按工作负载风险、租户或流量切片灰度，并设置自动停止 Gate。
- 在稳定窗口与回滚演练通过前，让旧路由保持热备用。
在两个供应商之上设置迁移开关
应用调用稳定工作负载接口；版本化路由策略把批准流量发送到当前、目标或双轨路径；供应商适配器保留显式差异；Diff Pipeline 比较标准化与原生证据；灰度 Gate 渐进改变策略，回滚开关无需重新部署应用即可恢复旧路由。
生产规则：在生产相似负载下完成回滚演练前，不得下线旧路径。
切换 LLM 供应商的常见错误
迁移忽略工具、严格结构、长上下文、流中断、多模态输入、限流、安全场景与异常响应。
输出变化后，团队无法判断原因来自模型、提示词、路由、温度还是重试策略。
目标路径重复发送消息、写入数据、调用工具或产生费用，因为所谓“影子执行”没有真正隔离。
平均值会掩盖重要语言、租户、少见工具、安全用户组或高价值流程中的失败。
新路径尚未通过回滚演练，旧凭证、配额、数据导出、支持权限或容量就已经消失。
请求字段相同会掩盖端点支持、工具、流事件、错误、Token 统计与供应商专有能力上的差异。
模型迁移期间保持能力集成稳定
QVeris 位于模型网关之上，作为外部 API、工具、服务与实时数据的互补接口。在推理供应商变化时保持这些能力契约与调用链字段稳定，从而把模型迁移与智能体依赖的真实世界集成隔离。
只有契约证据通过后才切换配置
把供应商切换当作一次有 Artifact 的发布：记录准确模型、端点、适配器 Version、测试结果、Rollout Cohort 与 Rollback Target，使可逆路由 Change 与应用部署分离。
change_id: llm-route-2026-07-21-01
workload: support-answer
from: provider-a/model-snapshot-a
to: provider-b/model-snapshot-b
contract_suite: contracts/support-answer-v4.yaml
evidence: artifacts/support-answer-provider-b.json
canary_percent: 5
success_gate:
accepted_quality: ">= baseline"
p95_latency_ms: "<= 8000"
error_rate: "<= 1%"
rollback:
alias_map: config/aliases-v18.yaml
owner: platform-oncall- 一次只改变一个维度：路由、模型、提示词或 Retry Policy。
- 只有数据条款允许且输出不会产生副作用时才使用 Shadow Traffic。
- 逐步推广，并保留成功与回滚决策的证据。
实施参考已根据官方资料核验：OpenTelemetry GenAI conventions。
FAQ
仅适用于测试证明目标保留全部必需行为的非常简单负载。
代表性生产负载，尤其是工具、严格结构定义、流与故障路径。
在稳定窗口、核对、事故复盘与成功回滚演练之后。
更多 LLM 供应商迁移问题
同一个获批的逻辑负载同时在两个供应商上执行，但只有一条路径可以产生用户可见输出或副作用，然后对比结构、语义、性能、用量与成本证据。
按工作负载、租户、区域、语言、功能或流量切片进行有限风险灰度，设置自动停止条件，只有在质量与服务目标稳定时才继续扩量。
使用产品自有的工作负载接口、显式适配器、稳定任务别名、可移植提示词与 Schema、一致性测试、原生遥测和经过验证的路由开关。
官方资料与延伸阅读
供应商 API 与模型行为会持续变化。迁移前应核对涉及的每个端点、模型、区域、配额、安全设置、数据条款与弃用计划的最新一手文档。