Meta公司近期宣布开源其Llama 2项目，这一决定主要基于两个原因。首先，通过开源Llama 2，可以削弱竞争对手的专有模型壁垒；其次，开源Llama 2也能为Meta自身的商业产品提供一个免费的补充或者选择。这是Meta公司在...

GitHub上的DemoGPT被誉为最有实力的代理之一。通过DemoGPT，用户可以迅速将单一的提示转变为Gen-AI应用。DemoGPT的高级设计能够生成代码，进行测试，并逐步推进项目的开发，确保效率和无错误的开发。你对DemoGPT感到...

Meta公司发布了新的开源AI语言模型家族Llama 2，其许可证允许其被整合到商业产品中。这些模型的大小从70亿参数到7亿参数不等，据报道，它们在大多数基准测试中表现优于其他开源聊天模型。Llama 2已在Microsoft Azure...

聚焦变换器是一种有趣的检索策略，它使用对比学习来提高key和value的缓存使用。此方法已被证明可相对稳定地扩展到几十万个标记。然而，目前尚不清楚这种方法在大规模应用中的表现如何，或者是否受到其他长期上下文方...

GGML是一个开源库，用于在低资源设备上运行语言模型。最近，团队已经进行了并行推理的MPI（Message Passing Interface）工作。现在，随着这些变化的实施，团队正在努力在树莓派集群上推理llama 65B模型。这一行动可...

LlamaIndex发布了0.7.0版本，旨在改进库的模块化和可定制性。新版本包括独立的OpenAI、HuggingFace和PaLM LLM抽象，允许用户独立使用响应合成模块，并为文档/节点对象提供了增强的元数据管理。此更新旨在增强LLM应用...

近日，一款名为Talk-Codebase的新工具在GitHub上发布了。该工具利用OpenAI、LlamaCpp和GPT-4-All技术，实现了与代码库和文档进行交流的功能。通过这款工具，开发人员可以直接与代码库和文档进行对话，提问、查找信息...

ExLlama是HF Transformers实现的一种内存更高效的量化权重重写。这个重写的目的是为了在使用量化权重时能够更好地节省内存。Llama是HF Transformers的一个开源项目，但在使用量化权重时存在内存占用较高的问题。ExLl...