LMSYS发布SGLang和Radix Attention,提高提示和推理速度
thinkindev • 2024-01-21
1863858 views
LMSYS发布了两项语言模型推理的新技术。第一项是对后端进行的改进,提高了每秒的标记总数性能。第二项是嵌入式领域特定语言,用于复杂提示技术,允许并行提示。
核心要点
- LMSYS发布两项新技术,提高语言模型推理性能
- 后端改进提高了每秒标记总数性能
- 嵌入式领域特定语言允许并行提示
thinkindev • 2024-01-21
1863858 views
LMSYS发布了两项语言模型推理的新技术。第一项是对后端进行的改进,提高了每秒的标记总数性能。第二项是嵌入式领域特定语言,用于复杂提示技术,允许并行提示。