EleutherAI已为Llama 3 8B训练出新的SAEs，并发布了它们的权重和库代码。这一突破性的技术进步显示出EleutherAI对于研发和推动技术进步的强大能力。SAE的训练和优化是一项复杂的任务，需要大量的知识和专业技能。Ele...

Eleuther团队近期对T5模型进行了重新训练，采用了现代的分词器并延长了训练时间。T5作为现代AI领域的一匹黑马，此次升级后的Pile-T5模型在编码任务上表现出了显著的性能提升。经过持续的优化和调整，Pile-T5在多项基...

近日，开发者们在GitHub上发布了一个名为localGPT的Repo，该项目利用Vicuna-7B模型和InstructorEmbeddings实现了离线文档问答功能。以下是该项目的主要亮点： - 使用Vicuna-7B模型：该模型是由EleutherAI开发的巨型...

Databricks发布了他们模型Dolly 2.0的新版本，该模型基于EleutherAI Pythia模型，经过指令调整后使用全新的商业可行数据集。虽然不清楚它与基于llama的模型或GPT 3.5 turbo的模型相比如何，但这是一项更加开放的工作...