开源模型逆袭!GPT-OSS 120B通过DPO微调,在人类偏好对齐任务上超越GPT-5.2
thinkindev • 2026-02-03
2538 views
一项最新研究显示,通过对开源大语言模型进行高效的微调,其性能可以超越顶尖的闭源模型。研究团队采用直接偏好优化方法,仅使用5400对偏好数据对GPT-OSS 120B模型进行训练,使其在RewardBench 2评估基准的人类偏好对齐任务上超越了GPT-5.2。这一成果不仅证明了开源模型在特定任务上的巨大潜力,更凸显了其显著的成本与效率优势:训练成本降低15倍,推理速度提升14倍。此外,如Qwen3 235B等其他开源模型也在数学和安全等领域展现出卓越性能。该进展意味着,企业与研究机构能够以更低的成本、更快的速度获得透明、可定制的高性能AI评判模型,从而减少对昂贵闭源方案的依赖,推动AI技术向更开放、更易获取的方向发展。
核心要点
- 开源模型GPT-OSS 120B通过DPO微调,在人类偏好对齐任务上性能超越GPT-5.2。
- 该方法成本仅为1/15,推理速度快14倍,凸显了开源方案的高效性与经济性。
- 研究使用RewardBench 2进行评估,开源模型在数学、安全等特定领域表现突出,提供了闭源模型之外的透明、可定制化选择。