据报道，使用公共API即可窃取闭源语言模型的部分内容，例如嵌入层。这项技术只需不到2000美元的预算即可实现。

通常情况下，语言模型的输入和输出嵌入层是捆绑在一起的。然而，如果您将输入嵌入与模型内部的其他嵌入捆绑在一起，并使用对比损失，您可以在实际运行时间和最终基准准确度上获得显著改善的性能。这种方法的关键在于...