Golden Gate Claude 是一个出色的案例，展示了如何使用SAEs（稀疏自编码器）进行模型的驾驭和解读。该工作为我们提供了一个直观的解释，解释了它是如何工作的，并提供了一些用于训练这些模型的示例代码。自编码器是...

OpenAI的超对齐团队开发了一款名为Transformer Debugger的工具，以支持对小型语言模型的特定行为进行调查。该工具将自动可解释性技术与稀疏自编码器相结合。

机械可解释性是通过将神经网络分解为更可解释的子部分来理解神经网络的过程。不幸的是，神经元本身往往不可解释。有一些深层次的原因，如叠加，导致了这个挑战。Anthropic公司的这项工作使用稀疏自编码器从一层Trans...