漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-05-31 talkingdev

1bit-LLMs:AI能效问题的创新解决方案

随着大型语言模型性能的提升,其对能源和计算能力的渴求也随之增加。为降低成本,提高处理速度,同时减少对环境的影响,模型需要实现更小型化。研究人员目前采用一种名为量化的技术,通过减少模型参数的精度来压缩网...

Read More
2023-08-31 talkingdev

CUDA图表助力深度学习模型性能提升,加速Llama 2速度达2.3倍

近日,一篇深度解析如何使用PyTorch 2.0的torch.compile和Nvidia CUDA图表功能提升深度学习模型性能的文章引起了广泛关注。该文章详细介绍了借助CUDA图表在Llama 2上实现了2.3倍的速度提升。这对于对性能敏感的AI从...

Read More