如何降低 LLM API 成本
同时守住质量

分离抽取、分类、聊天、代码、研究、规划、视觉和高风险决策，每类任务应有不同模型与评测阈值。

定义小型、中型和前沿模型路由，并按置信度、验证失败、用户等级或任务风险明确升级条件。

除标称 token 价格外，还要包含重试、回退概率、缓存价格、工具调用、平台费和质量返工。

路由变化成为默认前，应通过离线评测、金丝雀流量、成本检查和回归告警。

为每个请求记录功能、客户、环境、路由、供应商、模型、token、缓存、重试、延迟、成功状态和估算成本。

删除重复上下文、限制输出、停止失控循环、修复重试风暴、缓存稳定工作，并关闭未使用的评测流量。

建立任务评测集、测试小模型、引入模型阶梯，并先对最低风险路由进行金丝雀测试。

设置预算、异常告警、客户限制、模型允许列表、归属报告，以及每月成本质量复盘。

简单任务可能受益，但复杂或高风险任务会产生重试、返工、支持成本和用户流失。

删除错误的示例、策略、检索证据或对话轮次，会降低首次成功率并增加总成本。

当结果过期、与用户相关、受权限约束或来自变化市场数据时，高命中率反而有害。

可靠数据调用可能比让大模型猜测或反复搜索同一事实更便宜，但工具成本与失败也必须计量。

标记功能、客户、环境、用户等级、实验、路由、供应商和模型。没有归属的成本会变成月度意外；有归属的成本则成为团队能够解释和改进的工程指标。

不要盲目重复发送静态文档、策略、示例、对话历史或检索段落。进行去重、总结旧轮次、只选择相关证据，并衡量首次输出质量是否稳定。

设置合理输出上限、停止序列、JSON schema、简洁风格指令和分页，同时跟踪截断与任务完成，避免激进限制把 token 节省变成一次完整重试。

分类、抽取、改写和简单聊天可使用经过评测的小模型；只有置信度、验证、风险、客户等级或任务复杂度超过明确阈值时，才升级到大模型。

长指令或参考上下文重复时使用供应商提示词缓存。估算节省前要建模缓存生命周期、最低 token 阈值、写入读取价格、路由行为、隐私和失效规则。

对安全的分类、抽取、转换和查询结果进行缓存，并把输入、提示词版本、模型路由、策略、权限和新鲜度纳入缓存键。绝不能跨错误边界复用用户特定或变化数据。

当供应商提供更有利价格时，把离线抽取、嵌入、分类、报告生成和评测移到批处理路径，并把队列延迟、重试行为、完成 SLA 和部分失败处理纳入决策。

重试前先分类错误，遵守 retry-after，使用有上限的指数退避，防止重复工具动作，并设置 Agent 最大步骤。失控循环几分钟内就能抵消数周提示词优化。

回退必须考虑质量、上下文、工具、地区、延迟和总价格。如果最便宜的备用模型破坏 schema、触发再次调用或把任务交给人工，它并不经济。

当可靠 API 或数据集能回答准确问题时，应直接调用，而不是让大模型猜测、反复搜索或处理超长上下文。同时把工具费用与失败和模型节省一起计量。

按项目、客户、功能、环境、Key 和时间窗口设置限制，并在账单结算前，对每次成功成本、token 增长、重试飙升、缓存退化、路由变化和异常客户行为告警。

每项变化都需要离线评测集，以及质量、延迟、安全、工具成功和用户结果的生产护栏。通过影子流量和金丝雀发布，只有总结果成本改善时才保留更便宜路由。

用通过业务验收规则的输出数量，除完整的模型、网关、工具、重试与人工复核成本，避免低质量便宜请求因为返工记录在别处而显得高效。

衡量一条路由无需修复提示词、其他模型、重复工具或人工介入即可完成任务的比例。首次成功率的小幅提升，可能超过标称 token 价格的巨大差异。

拆分规划、检索、模型、工具、验证和格式化阶段。总体平均值会掩盖究竟哪个阶段造成长上下文、冗长输出、重复调用或昂贵尾延迟。

为每个模型、提示词、路由和缓存策略绘制评测质量与总结果成本。应选择达到所需质量阈值的最低成本配置，而不是总体最便宜配置。

在优化前固定代表性评测集，记录模型、提示词、路由、token、延迟、重试、工具调用、人工复核和可接受结果。没有基线，所谓节省只是个案。

先在影子流量上比较低成本路由，再用小比例生产流量验证，并为质量、延迟、安全、schema、工具成功率和用户结果设置自动回滚阈值。

把修复提示词、回退调用、重复检索、重复工具、支持工单和人工纠错加入总任务成本。最便宜的首次请求可能产生最昂贵的最终结果。

为每条路由和工作负载绘制可接受质量与完整结果成本，只保留达到要求阈值的最低成本配置，并在模型、价格或流量结构变化时重新评估。