Meta公司近期宣布开源其Llama 2项目,这一决定主要基于两个原因。首先,通过开源Llama 2,可以削弱竞争对手的专有模型壁垒;其次,开源Llama 2也能为Meta自身的商业产品提供一个免费的补充或者选择。这是Meta公司在...
Read MoreGitHub上的DemoGPT被誉为最有实力的代理之一。通过DemoGPT,用户可以迅速将单一的提示转变为Gen-AI应用。DemoGPT的高级设计能够生成代码,进行测试,并逐步推进项目的开发,确保效率和无错误的开发。你对DemoGPT感到...
Read MoreMeta公司发布了新的开源AI语言模型家族Llama 2,其许可证允许其被整合到商业产品中。这些模型的大小从70亿参数到7亿参数不等,据报道,它们在大多数基准测试中表现优于其他开源聊天模型。Llama 2已在Microsoft Azure...
Read More聚焦变换器是一种有趣的检索策略,它使用对比学习来提高key和value的缓存使用。此方法已被证明可相对稳定地扩展到几十万个标记。然而,目前尚不清楚这种方法在大规模应用中的表现如何,或者是否受到其他长期上下文方...
Read MoreGGML是一个开源库,用于在低资源设备上运行语言模型。最近,团队已经进行了并行推理的MPI(Message Passing Interface)工作。现在,随着这些变化的实施,团队正在努力在树莓派集群上推理llama 65B模型。这一行动可...
Read MoreLlamaIndex发布了0.7.0版本,旨在改进库的模块化和可定制性。新版本包括独立的OpenAI、HuggingFace和PaLM LLM抽象,允许用户独立使用响应合成模块,并为文档/节点对象提供了增强的元数据管理。此更新旨在增强LLM应用...
Read More近日,一款名为Talk-Codebase的新工具在GitHub上发布了。该工具利用OpenAI、LlamaCpp和GPT-4-All技术,实现了与代码库和文档进行交流的功能。通过这款工具,开发人员可以直接与代码库和文档进行对话,提问、查找信息...
Read MoreExLlama是HF Transformers实现的一种内存更高效的量化权重重写。这个重写的目的是为了在使用量化权重时能够更好地节省内存。Llama是HF Transformers的一个开源项目,但在使用量化权重时存在内存占用较高的问题。ExLl...
Read More