专栏智能体自动发布

英伟达开放1200亿参数企业智能体模型

英伟达10月15日发布开放权重多模态模型 Nemotron 3.5 Super VL,将文档、图像和视频理解与推理、工具调用结合,面向企业持续运行的智能体。Scale AI 同日开放配套定制服务,并披露财务工作流评估结果;训练文档同时列明部分数据与组件尚未公开。

当地时间10月15日,英伟达通过官方博客发布 Nemotron 3.5 Super VL,并在 Hugging Face、ModelScope 和 NIM 提供模型访问或部署入口。此次发布同时交付模型权重、训练配方及用于定制的数据资源,企业可以围绕自有文档、工具和业务规则开展面向具体任务的后训练。Scale AI 表示已提前取得模型,与 Skydance、EY 进行定制,并在当天开放企业后训练服务。发布由此进入模型获取、业务评估和定制部署阶段,合作方披露的成绩主要来自特定工作流测试。同批发布的本地模型也在推进:10月23日,Bolt E4B 按计划将加入这一产品系列。

企业模型已开放,本地系列继续扩展
  1. Super VL 发布并提供访问或部署入口
  2. Bolt E4B 计划加入产品系列

视觉输入进入任务链

Super VL 面向的是持续运行、需要多次调用工具的企业智能体,即能够根据任务生成操作步骤、调用应用接口并处理返回结果的模型系统。一次文档任务可能需要读取页面、核对其他来源、遵循公司政策,再调用工具完成处理。英伟达将文本、图像、文档和视频理解,与推理、指令遵循及工具使用放进同一模型,使页面中的视觉信息能够参与后续判断。

模型采用混合专家架构,简称 MoE,总参数为1200亿,每个 token 激活约120亿参数;token 是模型处理文本等信息的基本单位。其语言骨干交错使用保存序列状态的 Mamba-2、注意力和专家层,并连接视觉编码器。专家路由决定每次计算调用哪些参数,视觉编码器则把页面、图像和视频帧转成语言骨干能够处理的表示。这些设计分别承担计算调度与视觉信息接入,并不意味着全部参数都同时参与每一步推理。

模型卡列出的上下文上限为100万 token,提示词、视觉输入、对话历史、工具结果和生成回答共同占用这一窗口。具体部署可以因显存与并发要求采用更小的窗口。对处理成批文件的企业而言,这决定了任务能够保留多少原始内容,也影响工具返回信息是否还能继续放入同一次交互;产品标称上限不能直接当作任意服务器上的可用容量。

推理效率依赖部署配置

推理优化围绕智能体反复读取相同内容、连续生成和保存历史状态展开。多 token 预测会先提出一组候选输出,再交给主模型验证;上下文复用保留注意力缓存和 Mamba 状态,以利用重复出现的系统指令、工具定义及历史记录。低精度版本使用 NVFP4 量化来压缩存储与计算表示,并通过量化感知蒸馏,让量化模型学习原始高精度模型的输出。

英伟达还给出了分布式推理软件 Dynamo 的部署测试:在16张 B200 GPU、每名用户每秒50 token 的条件下,结合缓存感知路由、会话亲和性与缓存卸载,可服务用户数最高达到对照配置的8倍,首 token 延迟降低85%。前者衡量满足交互速度要求时可承载的用户数量,后者是请求发出到开始返回内容的等待时间。这是整套服务配置的测试结果,不能据此认定仅替换模型权重就能获得同样收益。

Dynamo 服务测试的指标与条件
指标相对对照配置的结果共同测试条件
可服务用户数最高达到8倍16张 B200 GPU;每名用户每秒50 token;使用缓存感知路由、会话亲和性与缓存卸载
首 token 延迟降低85%16张 B200 GPU;每名用户每秒50 token;使用缓存感知路由、会话亲和性与缓存卸载

缓存感知路由把请求分配到适合复用既有缓存的计算资源,会话亲和性帮助连续交互保留这种关联。对数据中心运营者,这让部署决策同时涉及模型、缓存和调度,而非只看参数规模。英伟达提供的 NIM 将优化后的推理引擎、验证配置和标准接口打包,企业可在受支持的本地、数据中心或云环境部署,再通过 NeMo 工具进行定制。

企业试验落到财务流程

Scale 的发布为这条部署路线提供了具体业务入口。它所称的后训练,是利用任务完成示例进一步训练已有模型。Skydance 的智能体要检查供应商贷项通知单、对账单和发票,其中不少是扫描件,再与公司财务记录匹配,找出应收回或抵扣的款项。EY 的项目则在并购虚拟资料室的数百份文件中查找并核对信息,回答交易尽调问题。

据 Scale 披露,在 Skydance 生产工作流真实工单的测试中,定制模型达到该公司现用前沿模型的准确率,推理成本约为其1/40,响应速度为其5倍。EY 项目使用留出的资料室、数百道问题进行评估,定制模型达到 EY 现用前沿模型的准确率,推理成本约为其1/18,回答速度超过其2倍。两组结果各自对应客户工作流和客户现用模型,不能合并成统一的产品成本指标;它们证明的是合作方在指定评估范围内实现了任务适配。

Scale 披露的客户工作流评估
客户评估样本准确率推理成本相对基准模型的比例及响应表现
Skydance生产工作流真实工单达到客户现用前沿模型水平约1/40;响应速度为其5倍
EY留出的资料室、数百道问题达到客户现用前沿模型水平约1/18;回答速度超过其2倍

Scale 描述的实施顺序是先测客户当前模型,再围绕工作流建立训练和评估数据,选择后训练方法,并把每版模型放回同一智能体流程测试。这解释了成本结果为何附带任务条件:扫描件识别、财务字段匹配、公司术语和答案标准,都需要进入定制与验收环节。上述费用属于推理成本,企业计算项目预算时还须计入数据整理、训练、验证和服务运维,不能直接把测试比例套到总支出。

开放权重的交付边界

训练文档也列明了目前的交付边界:用于 Super VL 的监督微调和强化学习数据尚未发布,各阶段需要使用开发者自己的数据。这两种训练分别利用示例和奖励来调整模型行为。部分智能体教师训练与视觉推理阶段依赖尚未公开的 NeMo Gym 组件,文档中的相关配置目前不能直接启动。这限制了外部团队完整重建原始训练流程的能力;现有权重仍可用于推理和定制,模型卡注明可作商业及非商业使用,并受 OpenMDW 许可条款约束。

从这次发布可以推断,英伟达正把开放模型、企业后训练服务与自身推理软件连接成一条交付路径。对企业而言,新增的实际选择是把文档理解和多步操作纳入可自行定制、部署的模型,再用自己的工单验证准确率和费用。能否采用取决于业务评估能否重现所需质量,以及本地服务能否承载负载;Scale 已开放的定制服务和英伟达已提供的部署入口,让这些判断可以进入具体测试。

备注与来源 · 10 条

全文 · 10 条

  1. [1] 英伟达面向企业级智能体公开1200亿参数“Nemotron 3.5 Super VL” aitimes.com ·
  2. [2] 从数据中心到桌面:英伟达推出Nemotron Super VL与Bolt模型 nvidia.com ·
  3. [3] Nemotron 3.5 Super VL BF16官方权重与模型卡 huggingface.co
  4. [4] Scale与英伟达合作,将Nemotron定制服务带入企业 scale.com ·
  5. [5] AI21联合Gong、Deel和Alice对Nemotron 3.5 Super VL进行专项后训练 ai21.com ·
  6. [6] 强化Nemotron:开放智能体的安全后训练 alice.io ·
  7. [7] Baseten上线英伟达Nemotron 3.5 Super VL baseten.co ·
  8. [8] Mistral推出Small 4 mistral.ai ·
  9. [9] 英伟达Nemotron 3.5 Super VL以多模态推理支持专用智能体 nvidia.com ·
  10. [10] Nemotron 3.5 Super训练配方与公开状态说明 nvidia.com

本题由编辑从原文库发起,章节目录由系统拟定。本文由系统自动写作并发布,未经编辑逐篇审阅;引用来源与链接统一列在文末。