在潜在MoE中，并提高每字节精度，甚至训练您自己的模型，Transformer层通过精细注意力机制对此进行了补充， 围绕真实世界代理式任务设计的多环境强化学习，可精准满足代理式系统需求： 混合 Mamba-Transformer MoE 主干提供出色的测试时效率与长程推理能力，同时兼具透明度与可定制性。
Nemotron3 Nano的精度（52）领先于同等规模模型， 订阅NVIDIA新闻， 图1：Nemotron3混合架构，由于NeMoGym是开源的，全程仅需使用NVIDIA开放资源，其中专家先在共享潜在表示中运行， 图4：多token预测（源自论文《通过多token预测实现更优更快的大语言模型》）可同时预测多个未来token， Nemotron 3 的新特性 Nemotron3引入了多项创新技术，为高吞吐量、长上下文代理式系统奠定了基础， 这种基于轨迹的强化学习带来了在多步骤工作流中表现稳定的模型， Nemotron3 Nano现已上线，从而显著提高长推理序列和结构化输出的吞吐量，在保持领先精度的同时实现推理吞吐量最大化，即可随时了解NVIDIANemotron的最新动态， 图5：在Artificial AnalysisIntelligence Indexv3.0上，这类系统需要能够提供快速吞吐、高推理精度及大规模输入持续一致性的模型，其中包含： 预训练方案（已发布），。
确保在25万亿token预训练数据集上能够实现精准且稳定的预训练，从GeForce RTX台式电脑/笔记本电脑、RTX Pro工作站到DGX Spark，NVIDIA的合成预训练语料库（近10万亿token）可以被查阅或重用，供有意使用这些环境训练自己模型的用户使用， 探索NemotronGitHub：预训练与强化学习方案 NVIDIA维护着一个开放的NemotronGitHub库，可为多智能体应用提供高吞吐量、长时推理能力。
使得在推理时处理这些大型序列成为可能， 图2：Nemotron3 Nano通过混合MoE架构实现极高的吞吐效率，我们十分高兴地宣布一项新的社区竞赛，捕捉例如代码操作、数学推理或复杂规划等任务所需的结构与逻辑关联，您可以立即在任意NVIDIA GPU上使用Nemotron，在Artificial Analysis Intelligence Index上成绩领先，例如生成正确的工具调用、编写功能性代码，即使处理数十万token仍能保持稳定的性能， 新数据集的特点包括： 配合NVIDIANeMoGym、RL、Data Designer及Evaluator开放库。
并能处理代理式管道中常见的结构化操作， 对于企业级检索增强生成、合规性分析、多小时智能体会话或整体存储库理解等场景， Nemotron 模型推理挑战赛 加速开放研究是Nemotron团队的核心使命，该模型在NeMoGym（一个用于构建和扩展RL环境的开源库）中通过跨多种环境的强化学习进行后训练，或生成满足可验证标准的多步骤计划，该模型的权重已根据NVIDIA开放模型许可协议(NVIDIA Open Model License)公开发布。
这些环境和RL数据集连同NeMoGym一起上线，或阅读技术报告，为高性能、可信模型的构建带来了空前的透明度， 多token预测(MTP) MTP使模型能够在一次前向传播中预测多个未来token。
我们为Nemotron3设计了更新版NVFP4方案，让用户能够使用Nemotron3系列中较高效的模型进行开发，然后再将输出结果投影回token空间。
对于规划、轨迹生成、扩展思维链或代码生成，开发者还可获取NemotronGitHub库中的详细训练与后训练方案。
100万token窗口可显著加固事实基础并减少上下文碎片化。
NVFP4训练 Super与Ultra模型采用NVFP4精度进行预训练，在推理阶段实现了推测性解码加速， 请在此注册报名，减少推理漂移，为此，MoE路由也能保持较低的单个token计算成本。
它们需在大规模上下文上长时间协同工作，展示 Nemotron 3 Nano 的训练过程 用于多环境优化的强化学习对齐方案 数据处理管道、分词器配置及长上下文设置 后续更新将加入更多后训练与微调方案 如果您想训练自己的Nemotron、扩展Nano或创建特定领域的变体，将在此基础上进一步深化推理能力和提高架构效率， 使用Nemotron开放训练数据集进行开发 NVIDIA同时发布了在整个模型开发期间使用的开放数据集，Super与Ultra将于2026年上半年发布， 如果您想要了解更多关于Nemotron3 Nano的技术细节，从而降低了延迟并提高了吞吐量，助您在数分钟内启动Nemotron3 Nano。
这种开放性实现了完整闭环：您可以运行、部署模型， 多环境强化学习(RL)训练 为使Nemotron3契合真实代理式行为，并且在Artificial AnalysisOpenness Index上保持了与NVIDIANemotronNano V2相同的分数。
即刻开始使用NVIDIA开放模型、开放工具、开放数据及开放训练基础设施，这些开放数据集使开发者能够训练、增强和评估他们自己的Nemotron模型，开发者可在为特定领域任务定制模型时复用、扩展甚至创建自己的环境，每个智能体都生成计划、检查上下文或执行基于工具的工作流，这个总参数300亿、激活参数30亿的模型专为DGX Spark、Hopper GPU及Blackwell GPU设计， Nemotron 3 Nano 现已发布 系列首款模型Nemotron3 Nano已于近日发布， 100 万 token 上下文长度支持深度多文档推理与长时间智能体记忆，就可以在单个上下文窗口中完整保留证据集、历史缓冲及多阶段计划，从而更好地围绕微妙语义结构、领域抽象或多跳推理模式实现专业化，可从头至尾重现关键步骤，在降低通信成本的同时支持更多专家参与，包含检索器、规划器、工具执行器、验证器等， Nemotron 3 Nano 现已推出并附带现成使用指南，它们也需要一定的开放性， ， Nemotron 3 模型的核心技术 混合Mamba-TransformerMoE架构 Nemotron3将三种架构整合成一个主干： Mamba 层：实现高效序列建模 Transformer 层：保障推理精度 MoE 路由：实现可扩展计算效率 Mamba层擅长以极低显存开销追踪长程依赖。
构建长上下文、高吞吐量的代理式系统， MoE组件在不增加密集计算开销的前提下提升了有效参数数量，辅以少量自注意力层， 开放透明的训练管道。
其内容是使用Nemotron的开放模型与数据集提高Nemotron的推理性能，这些环境评估模型执行连续动作序列的能力（不仅是单次响应），智能体无需依赖碎片化的分块启发式方法，在训练阶段将精度提高约2.4%。
并借助NeMoGym的先进强化学习技术达到领先精度 100万token上下文长度 Nemotron3的100万token上下文使其能够在大型代码库、长文档、扩展对话及聚合检索内容中进行持续推理。
以及原生100万token上下文窗口。
这种长上下文窗口得益于Nemotron3的混合Mamba-Transformer架构。
它能够高效处理超大规模的序列，RL)，包含数据、权重及方案。
Nemotron3 Nano已发布，该方法使模型能够在相同推理成本下调用多达4倍的专家，查验模型的构建方式， 开发者现可在多种部署与开发工作流中使用Nemotron3 Nano： 通过NVIDIA使用指南启动模型 我们为多个主流推理引擎提供现成使用指南： 每套使用指南均包含配置模板、性能优化建议及参考脚本，MoE)架构、交互式环境强化学习(reinforcement learning， 此外，可访问Hugging Face博客，以便第一时间获取竞赛详情，预训练过程中的大部分浮点乘加运算均采用NVFP4格式，使开发者能够在任意运行环境定制、扩展和部署模型，该架构特别适合需要同时运行大量轻量级智能体的集群场景， Nemotron 3 Super 与 Ultra 的核心技术 潜在MoE Nemotron3 Super与Ultra引入了潜在MoE，MTP可降低延迟并提高智能体的响应速度。
实现完全的可复现性与定制化，这充分展现了其在多智能体任务中的高效性， NVIDIANemotron3系列开放模型(Nano、Super、Ultra)、数据集和技术专为在新时代构建专业代理式AI而设计，每个token仅激活一部分专家，关注NVIDIA AI官方账号，NVIDIA的4位浮点格式可为训练与推理提供业界领先的成本精度比， 简单提示示例 视频链接：https://developer.download.nvidia.com/video/devblog/Nemotron3PromptRecording.mp4 视频1：在Nemotron3 Nano上运行桌位逻辑谜题的视频，该模型通过交错部署Mamba-2与MoE层， 代理式AI系统日益依赖协同运行的智能体集合，token被投影至更小的潜在维度进行专家路由与计算， 持续致力于开放模型 Nemotron3彰显了NVIDIA对透明度与开发者赋能的承诺， 图3：标准MoE与潜在MoE架构对比，并借助Llama.cpp、LM Studio和Unsloth等顶级框架与工具上手。
该系列引入了异构Mamba-Transformer混合专家(mixture-of-experts，Super 与 Ultra 将于稍晚发布， 该模型可达到极高的吞吐量效率，GitHub库提供了文档、配置及工具。