近日，JAX库的新成员Penzai亮相。Penzai通过具有可读性的功能Pytree结构，使得对训练模型的操纵和理解变得更加容易。这个库包含了丰富多样的工具，可以用于模型的可视化、调试以及组成部分分析。Penzai的安装和使用...

苹果公司即将在iOS 18中，为Safari、Spotlight Search和Siri增强AI相关功能。Safari的其中一个关键功能是文本摘要。 Siri也将获得类似的更新，使其能够以简化的方式生成响应来传递消息的内容。苹果的AI模型将完全在...

近日，一篇名为《Autodidax》的教程引起了广大技术爱好者的关注，该教程深度解析了日益崭露头角的Jax框架的内部原理。Jax框架因其强大的功能和灵活性，已经逐渐成为技术社区的热门话题。本教程不仅深入剖析了Jax框架...

MaxText是一个高性能、高可扩展性的开源低级机器学习模型(LLM)，完全使用Python/Jax编写，目标是在Google Cloud的TPUs和GPUs上进行训练和推理。这个项目在GitHub上公开，充分展示了其强大的功能和优秀的性能。MaxTex...

在人工智能领域，神经网络是一种非常重要的模型。为了提高神经网络的性能，研究人员需要使用高效的工具来构建、编辑和可视化这些网络。近日，谷歌发布了名为Penzai的JAX研究工具包，旨在帮助研究人员更轻松地完成这...

人工智能领域的领先企业xAI近日宣布，已将其拥有3140亿参数的Mixture-of-Experts模型——Grok-1的权重和架构公开。Grok-1采用JAX编写，并融入了现代Transformer架构，包括GeGLU、ROPE、三明治范数等先进技术。此次公开...

Monte Carlo Tree Search (MCTS)是一种先进的搜索算法。它被用于AlphaGo中，研究人员现在正在努力将其与语言模型集成。MCTS的实现一直以来都非常棘手，但是Jax的出现使得它变得更为容易。现在，开发者们可以在GitHub...

本文介绍如何从PyTorch转向Jax。文章提出了9个简明扼要的概念，这些概念使Jax强大而不同，每个概念都附有一个很好的代码示例。

在机器学习中，形状错误是一种难以调试的问题，通常只有在运行模型时才能发现。通过将形状检查作为类型，您可以消除大部分这种挑战，并更快地开发。Jaxtyping 是一个库，它使用 JAX 的类型系统来提供形状检查，从而...

谷歌利用MaxText和Jax训练技术，同时在超过5万个芯片上进行了LLM（语言模型）训练任务，保持了66%以上的利用率，成为了最佳MFU的强有力竞争者。该项目主要基于专有技术，但其中展示了一些有趣的细节，对于其他大规模...