Meta（原Facebook）旗下研究团队近日在GitHub开源了AIRS-Bench基准测试框架，旨在系统性地量化大型语言模型（LLM）代理在真实世界人工智能研究任务中的端到端能力。该基准包含20个精心设计的机器学习研究任务，每个任务均由明确的问题定义、数据集和评估指标三元组构成，并设定了对应的人类专家所达到的当前最优性能目标。其核心目标是评估自主AI代理能否在无人干预的情况下，通过理解问题、分析数据、设计算法、编写代码、进行实验等一系列完整的研究流程，最终开发出解决方案，使其性能达到甚至超越已发表的、由人类研究者创造的领域内最先进成果。AIRS-Bench覆盖了多样化的机器学习子领域，为衡量和推动AI向“AI研究员”角色进化提供了首个标准化、可复现的评估体系，标志着AI从工具执行者向问题发现与解决者迈进的关键一步，对评估和开发下一代具备自主科研能力的AI系统具有重要指导意义。