近日，一款名为SliceGPT的新一代模型压缩工具问世。据悉，该工具可以适用于从Phi-2等小型模型到大型模型的多种规模，并可对模型的权重矩阵进行剪枝处理，最大程度保持模型质量的同时，实现模型参数的大幅度减少，以...

Unsloth是一个轻量化库，可加速语言模型的微调。它现在可以轻松地与TRL在常见的模型架构上配合使用。Unsloth库通过一个简单的API使得模型训练和微调更快速。它可以帮助从训练数据中自动学习、优化和微调模型，使得模...

Jane Street公司是最高薪资的公司，其L1总薪资为350,000美元，是刚入行工程师的首选公司。Jane Street是一家专注于算法交易和量化分析的公司，经常吸引来自哈佛大学、麻省理工学院等世界顶尖学府的优秀毕业生。该公...

本研究介绍了LLM-FP4，这是一种新的方法，通过在训练后将大型语言模型的权重和操作转换为4位浮点值来压缩它们。近年来，由于NLP任务的快速发展，语言模型的大小和计算需求不断增加，这给模型的部署和使用带来了很多...

向量量化变分自编码器（VectorQuantized-VAEs）通常被视为在学习特定离散表示（例如，令牌或代码）时的最新技术。然而，它们通常复杂且脆弱。一篇新的论文提出了一种简单的量化方案，消除了代码本崩溃和复杂的设备，...

大多数数据库使用树遍历解释器，少数使用堆栈或寄存器虚拟机，有些使用即时编译器，还有一些进行矢量化解释。随着技术的不断进步，越来越多的数据库开始采用即时编译技术，以提高执行效率。不过，不同的数据库在表达...

Meta最近发布了一种新的人工智能基准，名为FACET。这种基准旨在评估AI模型在图像和视频中分类和检测物体，包括人物的“公平性”。公平性在AI领域是一个重要的话题，因为AI模型往往会复制并放大现实世界的偏见。通过FAC...

Hydra是一个基于列存储的Postgres数据库，可以在不更改代码的情况下瞬间查询数十亿行数据。它使用列存储、查询并行化、矢量化执行、列级缓存和经过调优的Postgres，以在几分钟内实现并行分析。Hydra适用于聚合、WHER...