QVeris
组件职责详解

模型路由器与网关:决策与执行

路由器选择合格模型;网关负责认证、执行、治理与观测请求。

发布日期:2026年3月22日 · QVeris团队制作

Financial market workflow supporting Model Router vs Gateway 模型路由器与网关:决策与执行

速览

路由器回答去哪里

它为工作负载过滤、评分并选择合格模型或端点。

网关回答怎么做

它对请求生命周期执行认证、适配、限流、执行、观测与治理。

网关可以包含路由器

路由可以作为更广泛网关控制平面中的策略模块。

证据连接两类组件

所选候选、原因、尝试、转换与结果应属于同一调用链。

决策平面与执行平面

Model Router 接收版本化工作负载契约、候选目录、租户策略与当前运营信号,移除不合格端点、为剩余项评分,并输出包含所选端点、Adapter、Fallback 上限与理由的 Route Plan。它的核心输出是可复现决策,而不是来自模型的网络响应。

Gateway 拥有执行边界:调用方身份、凭证、Provider Adapter、截止时间、配额、重试、缓存、策略执行、Telemetry 与最终响应。它在使用前必须验证 Route Plan,不能让过期或被破坏的决策绕过硬约束。轻量 Gateway 可使用静态 Router,更完整的 Gateway 则可承载面向不同工作负载的策略。

当多个执行系统需要同一决策服务,或路由策略独立演进时,可使用独立 Router;当一个 Gateway 拥有完整生命周期且低延迟重要时,可将其嵌入。无论哪种方式,都要保持 Plan Contract 明确,让团队能够分别测试选择与 Provider Execution。

路由器与网关职责

职责 最适合 选择前验证
候选合格性 路由器按能力、策略、区域与预算过滤。 网关必须提供版本化目录并执行所得约束。
评分与选择 路由器比较质量、成本、延迟、健康或偏好信号。 网关在执行前记录策略版本与所选端点。
供应商转换 路由器可以声明适配器要求。 网关映射请求、流、响应、错误与用量语义。
运营控制 路由器可把配额与健康作为输入。 网关拥有认证、密钥、限流、缓存、重试、熔断与取消。
证据与治理 路由器解释候选排除项与得分。 网关把路由证据与尝试、原生 ID、用量、策略及最终处置连接。

定义清晰组件契约

路由器输入

工作负载契约、合格目录快照、策略版本与新鲜运营信号。

路由器输出

所选端点、排序备用项、排除项、原因码与适配器要求。

网关执行

授权身份、获取凭证、转换、执行预算并运行有界尝试。

联合证据

一个父调用链连接决策、执行、供应商响应与下游工具工作。

联合测试路由器与网关

Router 单元测试证明固定输入能够产生确定性选择;端到端测试证明所选路由能够真实认证、保留工作负载契约并在预算内返回。两者缺一不可:Gateway 无法执行时,再完美的决策也无用;执行成功也不能掩盖无法解释的选择。

  • 冻结工作负载、目录、策略与健康 Fixture,使路由决策可复现。
  • 先测试硬排除,再测试评分权重、偏好和同分规则。
  • 验证每个所选端点都有有效 Adapter、受限凭证与策略批准的网络路径。
  • 注入过期健康、配额耗尽、异常 Plan、Adapter 错误和执行故障。
  • 确认 Fallback 排除失败路由后重新进入选择,并继续使用同一父预算。
  • 确认 Trace 能解释候选、排除、选择、尝试、验证与最终结果。

嵌入路由器,同时分离契约

Gateway 根据调用方身份、工作负载要求、目录与策略版本、剩余预算和新鲜健康状态构建 Routing Context。Router 返回版本化 Route Plan,以及候选集合、排除项与评分输入。即使二者在同一进程中实现,也应通过 Typed Internal Contract 传递,而不是共享可变全局状态。

Gateway 验证 Plan 新鲜度与硬约束,解析凭证和 Adapter,执行一次有界尝试并验证输出。决策证据与供应商原生执行证据都记录在同一 Trace 下。这样路由策略可以演进,而不会拆散认证、安全、核算或 Telemetry。

生产规则:Gateway 必须独立执行 Router 选择候选时使用的每个硬约束。

模型路由不等于外部能力路由

Router 选择推理,Gateway 治理推理执行;QVeris 通过发现并调用外部 API、工具、服务与实时数据补充两者。能力需求应写入工作负载契约,确保模型路由支持所需工具结构;但能力 Schema、权限、健康状态与新鲜度仍要独立检查。

模型与工具调用可连接到同一父 Workflow Trace,但凭证、Action ID、重试与 Fallback Pool 应分别维护。不同模型可以复用已验证工具结果,却不能自动获得重复重要动作的权限,也不能自动切换到语义不同的数据源。

FAQ

路由器总是独立服务吗?

不是。它可以是库、插件、策略模块或独立服务。

网关能在没有动态路由时工作吗?

能。即使只连接固定上游,它仍可提供认证、限制、适配与证据。

谁应负责重试?

执行层,通常是网关,因为它知道尝试、截止时间与副作用。

官方资料与延伸阅读

模型路由器与网关:前者做选择,后者负责治理与执行 | QVeris Guides