浮点精度的降低能够提高训练速度，但可能会导致不稳定的现象。最新的研究论文展示，通过新的装包格式FP6-LLM，可以在不引发常见不稳定性或由于尝试不当引发的训练速度下降的情况下，实现全张量核心的利用。这一突破...

近期，Triton手写常见模型梯度加速 AI 训练的项目备受关注。该项目手写了一些常见模型的梯度，以加速训练过程。尽管该项目的基准测试结果并不是最具说服力的，但这是一项非常值得尝试的努力。根据测试结果，该项目能...

本文讨论了几种加速大型语言模型（LLM）训练和推理的技术，以使用高达100K个输入令牌的大上下文窗口。这些技术包括：ALiBi位置嵌入，稀疏注意力，闪电注意力，多查询注意力，条件计算以及使用80GB的A100 GPU。