模型路由器与网关:决策与执行
路由器选择合格模型;网关负责认证、执行、治理与观测请求。
发布日期:2026年3月22日 · QVeris团队制作
速览
它为工作负载过滤、评分并选择合格模型或端点。
它对请求生命周期执行认证、适配、限流、执行、观测与治理。
路由可以作为更广泛网关控制平面中的策略模块。
所选候选、原因、尝试、转换与结果应属于同一调用链。
决策平面与执行平面
Model Router 接收版本化工作负载契约、候选目录、租户策略与当前运营信号,移除不合格端点、为剩余项评分,并输出包含所选端点、Adapter、Fallback 上限与理由的 Route Plan。它的核心输出是可复现决策,而不是来自模型的网络响应。
Gateway 拥有执行边界:调用方身份、凭证、Provider Adapter、截止时间、配额、重试、缓存、策略执行、Telemetry 与最终响应。它在使用前必须验证 Route Plan,不能让过期或被破坏的决策绕过硬约束。轻量 Gateway 可使用静态 Router,更完整的 Gateway 则可承载面向不同工作负载的策略。
当多个执行系统需要同一决策服务,或路由策略独立演进时,可使用独立 Router;当一个 Gateway 拥有完整生命周期且低延迟重要时,可将其嵌入。无论哪种方式,都要保持 Plan Contract 明确,让团队能够分别测试选择与 Provider Execution。
路由器与网关职责
| 职责 | 最适合 | 选择前验证 |
|---|---|---|
| 候选合格性 | 路由器按能力、策略、区域与预算过滤。 | 网关必须提供版本化目录并执行所得约束。 |
| 评分与选择 | 路由器比较质量、成本、延迟、健康或偏好信号。 | 网关在执行前记录策略版本与所选端点。 |
| 供应商转换 | 路由器可以声明适配器要求。 | 网关映射请求、流、响应、错误与用量语义。 |
| 运营控制 | 路由器可把配额与健康作为输入。 | 网关拥有认证、密钥、限流、缓存、重试、熔断与取消。 |
| 证据与治理 | 路由器解释候选排除项与得分。 | 网关把路由证据与尝试、原生 ID、用量、策略及最终处置连接。 |
定义清晰组件契约
工作负载契约、合格目录快照、策略版本与新鲜运营信号。
所选端点、排序备用项、排除项、原因码与适配器要求。
授权身份、获取凭证、转换、执行预算并运行有界尝试。
一个父调用链连接决策、执行、供应商响应与下游工具工作。
联合测试路由器与网关
Router 单元测试证明固定输入能够产生确定性选择;端到端测试证明所选路由能够真实认证、保留工作负载契约并在预算内返回。两者缺一不可:Gateway 无法执行时,再完美的决策也无用;执行成功也不能掩盖无法解释的选择。
- 冻结工作负载、目录、策略与健康 Fixture,使路由决策可复现。
- 先测试硬排除,再测试评分权重、偏好和同分规则。
- 验证每个所选端点都有有效 Adapter、受限凭证与策略批准的网络路径。
- 注入过期健康、配额耗尽、异常 Plan、Adapter 错误和执行故障。
- 确认 Fallback 排除失败路由后重新进入选择,并继续使用同一父预算。
- 确认 Trace 能解释候选、排除、选择、尝试、验证与最终结果。
嵌入路由器,同时分离契约
Gateway 根据调用方身份、工作负载要求、目录与策略版本、剩余预算和新鲜健康状态构建 Routing Context。Router 返回版本化 Route Plan,以及候选集合、排除项与评分输入。即使二者在同一进程中实现,也应通过 Typed Internal Contract 传递,而不是共享可变全局状态。
Gateway 验证 Plan 新鲜度与硬约束,解析凭证和 Adapter,执行一次有界尝试并验证输出。决策证据与供应商原生执行证据都记录在同一 Trace 下。这样路由策略可以演进,而不会拆散认证、安全、核算或 Telemetry。
生产规则:Gateway 必须独立执行 Router 选择候选时使用的每个硬约束。
模型路由不等于外部能力路由
Router 选择推理,Gateway 治理推理执行;QVeris 通过发现并调用外部 API、工具、服务与实时数据补充两者。能力需求应写入工作负载契约,确保模型路由支持所需工具结构;但能力 Schema、权限、健康状态与新鲜度仍要独立检查。
模型与工具调用可连接到同一父 Workflow Trace,但凭证、Action ID、重试与 Fallback Pool 应分别维护。不同模型可以复用已验证工具结果,却不能自动获得重复重要动作的权限,也不能自动切换到语义不同的数据源。
继续阅读相关实施指南
通过这些相关指南继续比较下一项架构决策、实施边界或运营控制,无需重新开始调研。
FAQ
不是。它可以是库、插件、策略模块或独立服务。
能。即使只连接固定上游,它仍可提供认证、限制、适配与证据。
执行层,通常是网关,因为它知道尝试、截止时间与副作用。
