AI 模型聚合器：一个 API 连接多模型
AI 模型聚合器用统一 API、目录和计费连接多个模型与供应商，同时必须保留端点差异与来源证据。
速览
目录可组合不同模型创建者、托管供应商、端点版本、区域与商业条款。
统一认证、请求封装、目录、路由策略、用量视图与账单关系可减少集成。
模型、端点与供应商不同。调用链应识别三者以及版本、区域、策略与计价单位。
聚合器控制转换、路由、回退、计量，有时还负责计费；每项功能都需要证据与退出路径。
从目录到账本的聚合流程
Aggregator 导入模型与 Provider 元数据，在目录中暴露合格端点，接受标准化请求、选择端点、转换 Payload、执行调用并记录用量。Fallback 可以按策略尝试同一模型的另一端点，也可以切换到不同模型。
目录规模不等于经过验证的覆盖。两个使用相同公开模型名称的条目，可能采用不同 Snapshot、Quantization、上下文限制、工具支持、安全设置、区域、数据策略、吞吐或价格。每条路由都需要带时间戳的身份记录，包括合同 Provider、模型与版本、端点、支持功能、生命周期、区域、隐私策略、计费单位与最近一次 Conformance Test 结果。
健壮的 Aggregator 会把原生 Request ID、用量、错误与路由证据同标准化数据并存。它监控端点健康与生命周期，但不会静默替换未批准的 Provider、模型版本、数据策略或计价单位。如果策略允许 Fallback，响应应暴露候选集合、排除原因、最终路由、尝试、转换与最终 Provider，使运营人员能够解释行为与账单。
核心聚合功能
| 功能 | 最适合 | 选择前验证 |
|---|---|---|
| 统一 API | 跨模型与供应商使用一个客户端契约，减少 SDK 与凭证蔓延。 | 兼容性是经测试的子集；保留能力标记与原生参数出口。 |
| 模型目录 | 为模型、端点、模态、上下文、参数、区域与价格提供可搜索元数据。 | 目录项必须版本化、标注来源与新鲜度，并在路由前验证。 |
| 供应商路由 | 按策略、价格、延迟、容量或隐私在合格托管端点间选择。 | 记录合格集合、评分、所选端点、原因与供应商身份。 |
| 回退 | 在有边界且符合条件的失败后重试获准备用端点。 | 定义截止时间、尝试、替换、流、重复风险、费用与最终错误。 |
| 用量与计费 | 标准化用量、合并账单，并按租户、应用、模型与供应商分配成本。 | 保留原生单位、加价、Credits、重试与供应商回执供核对。 |
模型聚合需要来源证据
创建者、家族、具体版本、发布、模态、上下文、能力、许可与弃用。
托管供应商、端点版本、区域、运行时、量化、容量、数据策略与健康。
策略版本、合格集合、评分、路由原因、回退链、缓存与护栏结果。
原生用量、标准化用量、价格版本、单位、加价、Credits、平台费与最终回执。
验证聚合契约
聚合应分两层测试。Conformance Test 证明端点保留了必需的请求、响应、Streaming、Tool、Schema、错误与用量行为；工作负载评测则证明合格路由达到应用的质量、延迟、策略与成本目标。不能仅因为 Health Check 返回 200，就让一条路由进入生产选择。
- 为对话、工具、结构化输出、流、Embedding、图像、音频及其他多模态负载固定准确模型和端点。
- 比较 Aggregator 与 Provider 直连的 Payload、输出、事件、Finish Reason、错误、Header、用量、延迟与账单。
- 强制 Provider 故障、参数不匹配、隐私限制、区域排除、配额耗尽、模型退役、别名变化与价格变化。
- 验证 Fallback 始终处于批准的能力与策略集合内，并且不会重置父截止时间或尝试预算。
- 检查目录新鲜度、Health Check 准确性、路由来源、BYOK 行为、数据日志、账单对账与支持升级证据。
- 导出目录、策略、路由、用量与 Trace，并灰度直连回滚，不丢失应用身份或 Conversation 状态。
在外部聚合之上保持内部别名
应用请求稳定内部工作负载别名并声明所需能力；内部注册表把它映射到获批聚合模型与端点；聚合器只能在该合格集合内路由。同时存储内部别名、聚合器路由与原生供应商 ID，在保留供给灵活性的同时保持可移植性。
生产规则：当标准化显式、来源穿过路由且账单能与原生证据核对时，聚合才可信。
模型聚合与能力聚合不同
模型聚合器统一推理供给；QVeris 统一 API、工具、服务与实时数据等外部能力的发现和执行。在智能体技术栈中，聚合器提供推理，QVeris 提供受治理行动。
FAQ
把多个模型以及通常多个托管供应商的访问组合在共享目录、API、路由、用量与计费功能之后。
聚合器强调供给与目录，网关强调流量控制；许多产品同时实现两者。
不透明端点替换在证据或审批不足时改变能力、策略、质量或成本。