EleutherAI已为Llama 3 8B训练出新的SAEs,并发布了它们的权重和库代码。这一突破性的技术进步显示出EleutherAI对于研发和推动技术进步的强大能力。SAE的训练和优化是一项复杂的任务,需要大量的知识和专业技能。Ele...
Read MoreGolden Gate Claude 是一个出色的案例,展示了如何使用SAEs(稀疏自编码器)进行模型的驾驭和解读。该工作为我们提供了一个直观的解释,解释了它是如何工作的,并提供了一些用于训练这些模型的示例代码。自编码器是...
Read More