Vals AI实测:降低推理努力可大幅削减成本,低档推理表现不输高档?
thinkindev • 2026-11-04
2024 views
近日,Vals AI针对前沿大模型在不同推理努力(reasoning effort)设置下的得分与成本关系进行了分析。结果显示,降低推理努力对成本的削减幅度远大于对输出质量的损耗。在最低推理档位下,多个前沿模型仍能保持大部分性能,部分场景中低推理设置甚至可在成本显著降低的同时,达到与高推理设置相近的结果质量。不过,推理努力的实际影响高度依赖任务类型:对于事实问答或结构化提取等相对简单任务,低推理档位已足够;而在多步数学推理、复杂代码生成或需要深度规划的难题上,提高推理努力仍是保障准确率的关键。这一发现为企业在部署大模型时提供了成本优化空间,可通过按任务难度动态调整推理努力,在预算与效果之间取得更精细的平衡,而非默认使用最高推理档位。随着模型API成本成为规模化落地的重要约束,理解推理努力与性能、成本之间的非线性关系将变得更加重要。
核心要点
- 降低推理努力可显著降低成本,同时对结果质量影响较小
- 测试显示低推理设置下模型能以更低成本达到与高推理设置相近的表现
- 推理努力的实际影响取决于任务类型,复杂推理任务仍可能需要更高推理设置