KV Quant - 缩放至1000万个令牌
talkingdev • 2024-02-21
609513 views
KV缓存的量化是Transformer架构的一个技术细节，它使其在推理时使用更少的内存。量化是在最小损失质量的情况下缩小浮点精度。
talkingdev • 2024-02-21
609513 views
KV缓存的量化是Transformer架构的一个技术细节，它使其在推理时使用更少的内存。量化是在最小损失质量的情况下缩小浮点精度。