本文探讨了模型拥有热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU上，您可以节省内存而不会牺牲太多吞吐量。同时，该文提供了一个可用的代码库。

Cerebras是一家人工智能训练芯片制造商，近日发布了一个在其系统上训练大型模型的框架，名为gigaGPT。该框架非常简单易用，不需要将大型模型分割成多个GPU和节点进行训练。

近日，HuggingFace 发布了最新版本的 Transformers 4.36.0。此次更新新增了 Mistral 模型和 AMD 支持等多项功能。同时，safetensors 已成为默认设置。HuggingFace 的这次更新将为 AI 模型的开发和训练提供更加便利的...

Stable Fast是HuggingFace扩散模型的推理引擎，通过它可以进行快速的Diffusers推理。该推理引擎在多种硬件上实现了出色的性能，包括CPU和GPU。此外，Stable Fast还兼容多个框架，包括PyTorch和TensorFlow。在GitHub...

近日，苹果公司发布了一款针对 Mac 设备加速的 Array 框架，利用统一内存技术，使其变得简单干净，并提供了一些 GPU 支持。这个新框架可以帮助开发者更高效地编写代码，从而提升用户体验。据悉，这个新框架可以在 Gi...

微软宣布了Windows AI Studio，这是一个供开发人员访问和配置AI模型的中心，提供了来自Azure AI Studio和Hugging Face的工具以及模型配置界面和性能测试模板等功能。英伟达更新了其TensorRT-LLM，支持GeForce RTX 30...

贝恩资本风投公司成立了一个名为BCV Lab的新人工智能孵化器和技术社区，提供办公空间、活动、研究计划、GPU租赁、招聘支持以及资金支持。BCV Lab将为创业公司提供必要的资源和支持，以帮助他们成长和发展。

使用语言模型构建工具是一种新兴的工程学科，涵盖了高性能计算、GPU编排和监控。在这个领域，LLMs（语言模型）是至关重要的组件，它们可以帮助工程师们开发出更智能、更高效的工具。本文将介绍如何在生产环境中使用L...