论文：支持更长上下文长度的LLMs技术研究

talkingdev • 2024-03-06

569406 views

近日，研究人员开发了一种名为Resonance RoPE的新技术，帮助LLMs更好地理解和生成比其原始训练序列更长的文本。这种方法在现有的Rotary Position Embedding（RoPE）系统上进行了改进，提高了模型在长文本上的性能，而无需额外的计算量。