近日，针对LLMs设计的结构化生成语言SGLang在GitHub上发布。SGLang的设计目的是为了帮助LLMs更加轻松地构建结构化的文本生成模型，从而加速生成文本的过程。SGLang采用了类似于HTML的标记语言来描述文本结构，同时支...

SGLang是一种针对大型语言模型设计的结构生成语言。它的设计目标是使与语言模型的交互更快速、更可控。SGLang提供了一种基于结构的生成方法，使用户能够更好地控制生成的文本。此外，它还提供了一些实用工具，如生成...

LMSYS发布了两项语言模型推理的新技术。第一项是对后端进行的改进，提高了每秒的标记总数性能。第二项是嵌入式领域特定语言，用于复杂提示技术，允许并行提示。