字节跳动近期发布了一项名为'Byte Latent Transformer'的新型算法，在大规模模型训练中，采用了Patch而非Token作为基本的处理单元。该算法对于图像和视频内容的理解与分析展现出了卓越的性能，尤其适用于处理高分辨...

近日，Genie 2项目公开了其最新进展，旨在打造一个大规模的基础世界模型。Genie 2通过整合大规模语言模型（LLM）与先进的知识嵌入技术，创建了一个能够理解和预测世界运作的复杂系统。这个模型不仅能够处理自然语言...

近日，研究团队成功在AMD GPU上对Llama 405B进行了微调。这一进展不仅提升了模型的性能，也展示了AMD硬件在深度学习领域的潜力。通过针对特定任务的微调，Llama 405B在处理复杂自然语言处理任务时表现出色，证明了其...

据报道，Meta平台将于7月23日发布其最大规模的Llama 3模型。这款模型具备4050亿个参数，能够理解并生成图像和文本。Llama 3模型的推出，将会大大提升Meta平台的功能性。据悉，此次发布的Llama 3模型是Meta平台迄今为...

PTQ4SAM是一个新的框架，旨在减少大规模Segment Anything Model（SAM）的内存和计算需求。SAM是一个全新的大规模模型，但其大规模的特性也使得其在实际应用中面临着严峻的挑战，尤其是在内存和计算资源上的需求。而P...

muP 是一种被所有前沿模型实验室广泛使用的强大工具，用于将小模型上调优的超参数转移到更大、更昂贵的训练任务中。本文探讨了如何将这种技术应用于稀疏模型，从而显著提升训练性能，同时降低计算成本。通过muP，研...

这是一篇关于大规模模型训练的并行化技术的教程。文章详细介绍了不同类型的并行化技术，以及如何在训练大模型时实现高效的并行化。本文介绍了数据并行、模型并行和混合并行等不同的技术，并详细讨论了它们的优缺点。...

大多数自动驾驶系统都是基于规则的、专家系统和学习模块的大规模组合。Wayve公司的最新研究展示了一个具有90亿参数的联合视频、动作和文本模型，该模型在多样化的场景中表现出色。这个模型通过学习和理解大量的驾驶...

OpenCompass是一款免费的工具，旨在快速有效地测试大型模型。它的开源特性意味着任何人都可以对其进行修改和优化，以满足特定的需求。OpenCompass的核心优势在于其能够处理大规模的模型，这使得它在处理复杂的机器学...

FlagAI（Fast Large-scale General AI models）是一个快速、易于使用且可扩展的大规模模型工具包。它提供了一整套功能强大的工具和库，用于开发和部署大规模人工智能模型。FlagAI的设计目标是使开发人员能够快速构建...