漫话开发者 - UWL.ME Mobile
Loading more...
漫话开发者 - UWL.ME Mobile

英伟达推出了全新的Nemotron 3.5 Lightning模型和NeMo Switchyard开源库,旨在大幅降低AI代理的推理成本并提升效率。Nemotron 3.5 Lightning是一个拥有300亿参数的混合专家模型(MoE),专为高吞吐量的专用代理任务构建,其输出速度比同类模型快4倍,在保持匹配准确度的前提下,完成代理任务的速度比Qwen3.6-35B快约30%。更具颠覆性的是NeMo Switchyard,该开源路由器能在代理工作流的每一个步骤中,动态地将任务分配给最适合的模型,而非全程依赖单一昂贵模型。英伟达的测试显示,将Lightning模型与Switchyard配合使用,系统仍能保持前沿的任务完成能力,而运行成本仅为单独运行Opus 4.8模型的大约三分之一。这一组合方案通过智能调度和混合专家架构,为大规模AI代理的商业化部署提供了显著的降本增效路径,有望推动企业级智能体应用加速落地。

核心要点

  • Nemotron 3.5 Lightning是300亿参数的混合专家模型,输出速度达同类4倍,且比Qwen3.6-35B快30%。
  • NeMo Switchyard开源路由器可在AI代理任务中途动态切换模型,实现成本与性能的精细权衡。
  • 两者协同运作,任务完成成本仅为单独使用Opus 4.8的三分之一,极大降低AI代理部署开销。

Read more >