如何加速推理是许多人关注的话题。本代码分享介绍了如何通过静态KV缓存提高Hugging Face框架上Llama模型的推理速度。

Ollama是一个开源的模型库，提供了各种各样的机器学习模型。这个库可以帮助数据科学家和机器学习工程师快速开发和部署模型。但是，有时候我们需要使用自己的模型。在本文中，我们将介绍如何将自己的模型添加到Ollama...

这个仓库包含了一系列有用的资源，重点是大型语言模型在视频理解领域的应用。这些资源包括论文、代码和数据集，可以帮助研究人员和工程师更好地理解和应用LLMa模型。LLMa模型是一种基于自然语言处理的技术，在视觉和...

最近，数据保护官（DPO）鼓励开发人员在开发过程中更加注重数据的描述性，以提高数据保护的效果。为了实现这一目标，开发人员可以利用 TRL 进行模型调优并生成更加描述性的模型。这样可以让数据更加清晰明了，保护效...

Distilabel是为AI工程师设计的框架，使用人类反馈的强化学习方法（例如奖励模型和DPO）对大型语言模型进行对齐。 它主要专注于LLM微调和适应性。 Distilabel可协助数据收集，清洗和训练。

近日，一款名为VersionFox的跨平台SDK版本管理工具在GitHub上发布。该工具提供了命令行接口，用户可以快速安装和切换不同版本的SDK。VersionFox支持全局、项目和会话级别的版本切换，并且还具有简单的插件系统，可以...

最近，研究人员开发了一种名为ShieldLM的安全检测器，可帮助大型语言模型遵守人类安全标准，并提供自定义检测和解释决策的功能。该工具可检测模型是否存在安全问题，例如对不同种族、性别或群体的人有偏见，或者可能...

EMIFF是一种创新的基于摄像头的3D检测框架，用于车辆基础设施协同物体检测。它使用多尺度交叉注意力和相机感知通道掩蔽来纠正来自相机异步性的姿态误差。EMIFF的开源代码现在可以在GitHub上获得。