近日，Reka和Google的Yi Tay发表了一篇精彩的文章，详细讲述了编码器、prefixlm、降噪目标等现代语言建模技巧。在这篇文章中，Yi Tay详细分析了一些对于语言建模领域的最新的研究成果和思考。他深入剖析了编码器的工...

PaliGemma是一款基于SigLIP和Gemma 2B的强大视觉语言模型。这份技术报告详细阐述了在构建PaliGemma过程中的架构选择和数据收集方面所做的决策。SigLIP和Gemma 2B的结合使得PaliGemma在视觉语言建模方面展现出卓越性...

来自康奈尔科技大学的教授和Hugging Face的研究员Sasha Rush，近日做了一场关于使用扩散作为语言建模目标的精彩讲座。在15分钟的视频中，他详细解读了扩散语言模型的核心理念，让我们有机会深入了解这一前沿技术。Sa...

研究人员升级了流行的YOLO对象检测器，推出了YOLO-World，首次引入了开放词汇检测的概念。这种方法结合了视觉语言建模和大规模数据集训练，使其能够快速且准确地识别大量对象，即使在未特定训练的场景中也能表现出色...

互联网档案馆拥有超过2亿个OCR图书页面，可供研究使用。该数据集可用于文本识别、自然语言处理、信息检索等多个领域的研究。研究人员可以使用该数据集进行模型训练、语言建模、数据分析等工作。该数据集的发布将加速...

斯坦福大学语言建模团队发布了一项广泛使用的基准测试，名为Holistic Evaluation of Language Models (HELM)。他们还发布了一份面向指令跟随的版本，名为HELM-Instruct。该测试是多维的、开放式的和绝对的。

一些人正在努力构建一个开源版本的Rabbit硬件，包括语言建模部分。

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...

这是一个正在建设中的资源库，旨在帮助人们掌握最新的创新技术。它主要面向初学者，包括学习Python、深度学习和语言建模的资源。如果你想了解生成式AI，那么这个资源库是一个很好的起点。学习这项技术需要耐心和毅力...

Flamingo是DeepMind的一个模型，可以处理图像和文本。它能够回答视觉问题，并具有强大的语言建模性能。这项工作是对这些模型的复制研究。它还使用了MPT和Red pajama基础模型，这些模型在许可使用上较为灵活。这个复...