Emissary发布了一个基准测试平台，可以使开发人员在他们自己的条件下快速可靠地评估提示并管理模型迁移和回归。通过自动LLM辅助评估或将评级外包给Emissary，生成和扩展测试集，定义自定义指标，并协作地手动团队评...

Anthropic的Claude 3似乎在一系列认知任务上树立了新的行业标准。该公司声称，在某些情况下，它接近于“人类水平”的能力。Claude 3有三个模型：Claude 3 Haiku，Claude 3 Sonnet（为Claude.ai聊天机器人提供动力）和C...

一项新研究揭示了多模态大型语言模型（MLLMs）如GPT-4V的一个弱点：它们难以处理特定类型的图像-文本输入，从而导致错误。CorrelationQA是一个基准测试，旨在评估MLLM在图像可能会误导或与文本相矛盾的情况下的表现...

基准测试是非常有用的工具，但由于其狭窄的范围、过度拟合、污染、可重复性问题和缺乏范围，它们并不是真实世界实用性的最佳指标。

TACO是一个新的基准，用于评估系统生成代码的能力。它比现有数据集大得多，包含更具挑战性的问题。在简单的问题上，GPT-4的正确率达到30％，而在最难的问题子集上，它仅能达到2％。

一种深入研究训练语言模型所使用的数据的方法。研究结果表明，许多闭源模型可能没有在流行的基准测试上进行训练。

当新的模型拥有惊人的性能时，人们往往会质疑它们是否真的是在验证数据或基准测试上得到了训练。去污是从输入中删除此类测试数据的过程。LMSYS团队发现，如果你重新表述测试数据，使其通过去污，但仍包含关于基准测...

这项研究介绍了AV-SUPERB，这是一个新的基准测试，用于测试训练模型在各种任务中对声音和视觉数据的理解程度。AV-SUPERB的目标是推动音频和视觉共同理解的发展，并为未来的研究提供一个统一的平台。这项研究突出了模...