AI · 文章
大模型推理价格一年跌 9 到 900 倍:成本瓶颈已从算力转向工程
把推理成本当常数的团队正在做错预算。Epoch AI 数据显示,同任务下大模型推理价格每年下降约 9 到 900 倍,降幅远超硬件性能增速;真正决定成本下限的不再是 GPU,而是量化、缓存、批处理与模型选型这些工程决策。
Epoch AI 统计:可比任务下 LLM 推理价格每年下降约 9 到 900 倍GPU 价格性能每年仅提升约 1.4 倍,价格下降主要来自量化与批处理等软件优化同级模型之间价差可达 1000 倍,选对模型比押注硬件更能改变成本曲线
成本问题在 2026 年换了主角。两年前团队争论的是「买多少张加速卡」,现在真正决定账单的,是每次调用背后的一串工程选择:用哪个模型、量化到几比特、上下文留多长、缓存命中多少。算力仍在变快,但软件侧的优化速度快得多。 Epoch AI 的统计显示,可比任务上 LLM 推理价格每年下降约 9 到 900 倍,而 GPU 价格性能每年只提升约 1.4 倍。差额来自量化(4/8-bit)、更大的批处理、投机解码,以及用蒸馏小模型替代大模型。换句话说,价格曲线的斜率是软件工程师写出来的。 工程侧的空间同样巨大:前缀缓存命中率高,重复的系统提示词就不再计费;上下文从 32K 裁到 8K,延迟和费用同步下降;KV 缓存的分配策略直接决定单卡并发上限。这些都不需要换硬件,只需要把推理当工程问题对待。 给应用团队三条可执行建议:成本预算按「每次任务完成」而非「每 token」计算,这样才能跨模型比较;把模型选择做成配置而非硬编码,保持每月重评一次的习惯;默认从能完成任务的最小模型起步,用评测集而非直觉决定何时升级。