Yuan 2.0-M32是一款具备40亿参数的专家混合模型，其中任意时刻仅有3.7亿参数处于激活状态。尽管其计算需求仅为Llama 3 70B的1/19，但其性能却接近后者。该模型在2万亿个token上进行了训练，展现出了令人惊讶的强大性...

LoRA（Learning of Rate Adjustor）是一种被广泛应用于模型微调的方法，用于注入风格或知识。近期的一篇研究论文深入探讨了在使用LoRA时，学习能力和遗忘之间的权衡关系。研究发现，LoRA相比于全面微调，虽然学习的...

Google在今天的发布中公布并展示了一些开源模型。其中一个已经发布的模型是基于SigLIP的视觉语言模型。这个模型非常容易调整和扩展到多种任务。这个Colab笔记本展示了如何用简洁、易读的代码来实现这一点。SigLIP是...

在目标检测领域，单域泛化（S-DG）一直是一个挑战。为了解决这一问题，最新的OA-DG方法应运而生。该方法采用了OA-Mix数据增强技术以及OA-Loss训练策略，旨在提高模型在单域环境下的泛化能力。OA-Mix通过混合不同类别...

科研团队近期推出了一项名为DiJiang的创新技术，旨在将现有的Transformer模型转化为更精简、更快速的版本，同时避免了重新训练模型所需的巨大成本。DiJiang技术通过优化模型结构，大幅减少了计算资源的消耗，使得Tra...

AutoQuant 笔记本是一个新的工具，它可以将 HuggingFace 上的模型导出为五种不同的量化格式，包括 GGUF、GPTQ、EXL2、AWQ 和 HQQ。这些量化格式旨在优化模型的性能和效率，以便在不同的硬件和平台上部署。通过使用 A...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

Quiet-Star是一个推理框架，旨在增强语言模型生成正确输出的能力。该框架的代码已经公开，同时发布了一个每个令牌8步的模型。Quiet-Star通过优化模型的推理过程，提高了生成文本的准确性和相关性，对于自然语言处理...