近日，Qodo公司宣布开发出一套全新的、严谨的AI代码审查基准测试方法，旨在对各类AI辅助代码审查系统进行客观、量化的性能评估。该基准测试的创新之处在于，其并非使用人工构造的简单代码片段，而是将多种类型的缺陷（包括功能性错误和最佳实践违规）有意地注入到来自生产级开源项目的、已合并的真实拉取请求中。这种方法论使得研究人员和开发者能够在更大规模上，同时评估AI工具在代码正确性（如bug发现）和代码质量（如规范遵循）两个维度的表现。该基准测试通过测量精确率、召回率和问题覆盖率等关键指标，为行业提供了一个接近真实开发环境的评估标准，有助于推动AI代码审查工具向更实用、更可靠的方向发展，对提升软件工程自动化水平具有重要参考价值。