Answer AI发布了一款新的FSDP/QLoRA训练工具，可在消费级GPU上训练70B参数模型。该公司开源了代码，并使其易于本地运行或在runpod上运行。

谷歌推出了一系列新的AI语言模型Gemma，这些模型是基于类似Gemini的技术构建的免费开源模型。Gemma模型可在桌面或笔记本电脑上本地运行，有两个模型，一个有20亿个参数，另一个有70亿个参数。每个模型都有经过预训练...

Reor是一款基于人工智能的笔记应用，它在本地运行模型，从而保护用户数据隐私。该应用使用自然语言处理技术，支持用户在笔记中添加文字、图片和语音记录。它还可以自动识别笔记中的关键信息，并将其转化为可编辑的文...

NVIDIA推出了Chat with RTX的演示版本，这是一款本地运行的PC聊天机器人，可以分析和汇总各种文件格式的个人数据，甚至整合来自YouTube视频的知识，旨在创建更个性化的数字助手体验。这种创新不需要云处理或互联网连...

Ollama发布了Python和JavaScript库的初始版本，使得开发者能够在几行代码中将新的和现有的应用程序与Ollama集成。Ollama支持广泛的模型，包括Mistral、Dolphin、Llama2和Orca，使得开发者可以轻松地在本地运行大型语...

据悉，最近发布的Stablecode 3B模型表现出色，其强大的性能超过了7B的CodeLlama模型。同时，该模型的尺寸足够小，能够在MacBook上本地运行，无需像7B模型一样需要大量的计算资源。这一模型的发布，标志着技术领域的...

Ollama就像是llama cpp模型周围的软件包管理器。它具有易用性和质量生活功能，甚至可以在CPU上轻松运行模型。本示例展示了如何运行两个优秀的模型，Dolphin和Samantha，它们是用于对话任务的优秀未过滤模型。

微软宣布了Windows AI Studio，这是一个供开发人员访问和配置AI模型的中心，提供了来自Azure AI Studio和Hugging Face的工具以及模型配置界面和性能测试模板等功能。英伟达更新了其TensorRT-LLM，支持GeForce RTX 30...