科技巨头们正在将注意力从大型语言模型转移到更有效的小型语言模型（SLMs），苹果和微软引入的模型具有明显较少的参数，但在基准测试中的性能却相当甚至超越了大型语言模型。OpenAI的CEO建议，我们正在超越LLMs的时...

这款7b模型在医疗数据上进行了训练，当由医生进行人类偏好评估时，其与GPT-4打成了平手。这表明了医疗领域AI技术的强大进步。这款模型的性能与GPT-4相当，显示出其在理解和解析医疗数据方面的强大能力。这项成就不仅...

在预训练中，如何积极选择下一批最好的样本是一个挑战性和开放性的问题。DeepMind的这项工作探索了如何只花费10%的浮点运算和硬挖掘负样本，仍然能匹配各种任务的最新技术。在这个过程中，他们采用了一种名为“联合样...

Golden Gate Claude 是一个出色的案例，展示了如何使用SAEs（稀疏自编码器）进行模型的驾驭和解读。该工作为我们提供了一个直观的解释，解释了它是如何工作的，并提供了一些用于训练这些模型的示例代码。自编码器是...

Polyfill.io，一个广泛用于提高旧版浏览器兼容性的JavaScript代码库，近日被发现被恶意代码感染。目前，已有超过十万个网站使用该服务。这些网站建议立即移除相关代码以避免潜在的安全威胁。据悉，该问题源于今年早...

研究人员已经发现，通过分类数据、预计算嵌入以及动态生成示例，可以使LLM语音助手更加高效和可扩展。他们利用RAG（Retrieval Augmented Generation）系统对语音助手进行优化，提高了其性能和扩展性。RAG是一种典型...

Lamini已经成功开发出了名为'记忆调整'的技术，该技术可以有效地减少95%的幻觉现象。这项技术的主要作用在于，能够将特定的数据更有效地嵌入到模型中，而不会影响到模型的一般知识。通过这种方式，Lamini不仅解决了L...

Imbue公司成功训练并发布了一款极其强大的70B语言模型。这款模型采用了Imbue自家的优化器，以及一些出色的数据过滤技术，训练过程中没有出现任何损失峰值。这表明该公司在技术上取得了显著的突破，为人工智能语言模...