Lumina是一个新一代的项目,其目标是成为统一的文本到X生成模型。这个项目的训练涉及到图像、视频、音频和文本的交替,这种方法提高了下游性能。Lumina项目带来的这种全新技术,将对未来的人工智能、机器学习和深度...
Read MoreMirage项目是一个多层次的张量优化引擎,能够产生极高性能的线性代数模块内核。它利用了张量的多层结构,进行深度优化,从而实现了高度优化的内核计算。在GitHub上,Mirage项目已经开源,并得到了广大开发者的热烈追...
Read MoreHazy研究团队最新推出一款名为ThunderKittens的CUDA DSL,旨在帮助开发者更简单、更高效地编写CUDA内核。据了解,该团队已经用这款新工具编写了flash attention模块,结果表明其运行速度比原版本快了30%,而且仅需10...
Read More近日,一种新型的标签方法被研究者利用在了图片和文字的配对上,这种方法运用了两次的VLMs(视觉语言模型)扫描,产生了极为详细的图片和文字配对数据。这些配对数据的标题比以往的任何数据集都要详细,能够帮助训练...
Read MoreChemFlow是一个新的框架,旨在通过使用深度生成模型高效地导航化学空间,从而提高分子科学的效率。这种新型框架的出现,使化学研究人员能够在化学空间中更加精准地进行探索和导航,从而为分子科学领域的研究和发展开...
Read MoreQoQ,一种新型量化算法,通过使用4位权重、8位激活和4位KV缓存,加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术,它能够减少模型的存储需求和计算复杂性。在这种情况下,QoQ算法采用了较低精度的数...
Read MoreDeepSeek近期推出了一个具有超过2000亿参数的模型DeepSeek-V2,其中激活参数达到210亿。无论是在编码还是推理方面,该模型的表现都极为出色。虽然目前尚不清楚其性能是否超过了拥有700亿参数的Llama 3模型,但无疑,...
Read MoreUnsloth.ai的创始人近期发布了一段视频,详述了他们的团队如何使用PyTorch,编写他们的内核,以及设计他们的API界面。Unsloth的框架和库功能强大,易于使用。Unsloth通过这种方式,使得大量的开发者能够更好地进行深...
Read More