EleutherAI已为Llama 3 8B训练出新的SAEs，并发布了它们的权重和库代码。这一突破性的技术进步显示出EleutherAI对于研发和推动技术进步的强大能力。SAE的训练和优化是一项复杂的任务，需要大量的知识和专业技能。Ele...

Golden Gate Claude 是一个出色的案例，展示了如何使用SAEs（稀疏自编码器）进行模型的驾驭和解读。该工作为我们提供了一个直观的解释，解释了它是如何工作的，并提供了一些用于训练这些模型的示例代码。自编码器是...

OpenAI团队在其最新的GPT-4模型中发现了1600万个可解释特征，包括价格变动、代数环以及谁/什么对应关系。这一发现大大推进了大规模SAE（自注意解释性）研究的进程。为了让研究人员和开发者更好地理解和利用这些特征...