LLMLingua-对齐后的LLM检测提示中的无关标记，实现对黑盒LLM的压缩推理
talkingdev • 2023-12-21
788099 views
近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发者更快速地进行对话生成和语言建模等任务。值得一提的是，LLMLingua是由加州大学伯克利分校的研究团队开发的。
核心要点
- LLMLingua项目在GitHub上开源
- LLMLingua使用对齐后的小型语言模型检测提示中的无关标记
- LLMLingua实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小