GPT能记住哪些书？

最近有人说，现今的大型语言模型“已经看遍整个互联网”。这并不完全正确，但它们确实看过许多不同的书。而且结果表明，它们已经记住了许多这些书的内容。这篇有趣的论文试图通过一些巧妙的实验来找出它们记住了哪些书籍，他们发现许多最受欢迎的作品甚至一些不知名的作品都被这些大型语言模型几乎完全记住了。有趣的是，一些基于知识的基准测试需要记忆书籍，因此这可能是解释模型版本之间显著提高性能的原因之一。 ## 新闻要点： - 大型语言模型已经记住了许多书籍内容 - 许多最受欢迎的作品甚至一些不知名的作品都被记住了 - 这可能是解释模型版本之间显著提高性能的原因之一