一篇来自LessWrong社区的技术文章深入探讨了2023年至2031年间大型语言模型（LLM）规模扩展的物理极限。文章指出，虽然预训练算力是决定模型规模的关键，但一个常被忽视的硬性约束在于推理时的令牌生成速度。具体来说，生成速度受限于从高带宽内存（HBM）中读取数据（主要是模型权重和KV缓存）的速度。这意味着，如果模型参数量过大，即使拥有海量训练算力，也会因推理速度太慢而失去实际应用价值。基于这一核心物理约束，文章尝试预测未来几年所能达到的模型参数上限，并估算到2031年，单模型参数量有望达到惊人的1.4千万亿（即1.4e15）规模。该预测基于大量关于硬件性能增长、数据效率提升和算法优化速度的假设，但为AI研究者提供了一个关于“算力瓶颈”与“内存墙”之间博弈的深刻视角。