基础模型能否像人类一样标记数据？

最近，关于语言模型的热潮导致了各种各样的声明，比如“我们的模型被 ChatGPT N% 的时间所偏好”。但这种声明通常隐藏了一个事实，那就是 ChatGPT 实际上是偏向 GPT4 模型的。这其中涉及到各种各样的问题，包括校准、可靠性，以及 GPT4 更偏向输出更多令牌的模型。本文深入探讨了这些细节，以及 Open LLM 排行榜的情况。 ### 三个核心要点： - 基础模型和人类能否一样有效地标记数据？ - GPT4 偏好输出更多令牌的模型，导致了模型选择的偏差。 - Open LLM 排行榜是如何评估模型标注能力的？