开源|LHTB:用密集奖励评分考验AI智能体长期终端工作能力
thinkindev • 2026-07-14
4864 views
在大型语言模型(LLM)驱动的AI智能体日益普及的今天,如何可靠地评估其在长时间、多步骤任务中的实际生产力,仍是行业面临的核心挑战。GitHub上最新发布的开源项目LHTB(Long-Horizon Terminal Benchmark)正试图填补这一空白。该基准测试专门设计用于检验LLM智能体能否在跨越数百次连续终端交互的长周期任务中,保持稳定且富有成效的工作状态。LHTB的核心创新在于其独特的评估方式:它包含46个有状态的任务,每个任务都内置了隐藏验证器。这些验证器并不会轻信智能体自己报告的执行进度,而是通过重新构建并检查终端最终生成的工件来进行客观评断。这种“不看过程,只验结果”的密集奖励评分机制,有效避免了智能体通过表面文本堆砌伪装成功的可能性,为衡量AI在真实开发环境中的持久战能力提供了更硬核的标尺。该基准的推出,有望推动自主AI从短期对话执行走向真正参与长周期工程项目的产业趋势。
核心要点
- LHTB基准测试专注于评估LLM智能体在数百次终端交互长周期任务中的稳定生产力。
- 项目包含46个有状态任务,通过隐藏验证器重建并检查最终工件来保证评估客观性。
- 该基准采用密集奖励评分机制,不信任智能体自报进度,面向长周期自主工作的产业需求。