大多数组织机构没有资源在GPU上运行大型模型，但是有一个强大的开源推动力量在本地运行这些模型。本文探讨了这种推动力量以及LangChain + Ollama集成。 LLN（Local Low Rank Normalization）是一种用于处理基于卷积...

斯坦福人工智能与人类中心研究所（Stanford HAI）最新发布的“基础模型透明度指数”显示，主要的AI基础模型开发者在社会影响方面提供的信息不足。虽然Meta的Llama 2在透明度方面得分最高，为54%，其次是BloomZ和OpenAI...

虽然华尔街投资者很难评估和理解Meta开源的AI方法，但是科技行业中的许多人认为，将Llama定位为类似于Linux的做法是一个聪明的选择。Meta的方法是基于AI拼图的开发，这种方法将AI分解成许多小块，使其更容易理解和开...

将模型从云存储加载到节点GPU通常需要大部分推理时间。通过一些巧妙的技巧，例如内存流，Anyscale将其缩短了20倍，仅需30秒即可到达Llama 2 70B。

研究人员开发了一种新技术，将声音信息和语言数据结合起来，纠正自动语音识别系统中的错误。该技术基于交叉模态融合，使用视觉和语言信息来提供更准确的识别结果。此外，该技术还可以提供更好的语音合成能力。研究人...

人工智能驱动软件的下一步演变并非聊天机器人，而是利用LLMs来完成实际工作的应用。AI基础设施联盟的此篇电子书全面覆盖了此领域的各个方面，包括Prompt工程、LLM逻辑和推理、主要框架如LlamaIndex、LangChain、Hays...

随着越来越多的新模型问世，寻找一种能够轻松拉取并运行这些模型的方法变得具有挑战性。而且，重新混合和制作这些模型也不是一件容易的事情。然而，这款名为Ollama的小工具让测试最新模型变得简单。这款工具具有用户...

ExLlamaV2是一个在GitHub上开源的项目，它是为现代消费级图像处理单元（GPU）上运行本地语言模型（LLMs）而设计的推理库。这款推理库的出现，可以帮助用户在个人电脑上使用现代GPU进行深度学习模型的推理计算，而无...