作者页面描述
9月23日
Introducing NV-Reason-CT Open 3D CT VLM for Radiologist Chain-of-Thought Reasoning
介绍 NV-Reason-CT 开放 3D CT VLM 用于放射科医生思维链推理➀ 英伟达推出了 NV-Reason-CT，这是一种用于放射科医生思维链推理的 3D CT VLM；
➁ 该模型在 CT-RATE 基准测试中取得了最先进的成果；
➂ NV-Reason-CT 是一个用于专业 CT 分析应用的开放研究和开发基金会。
9月22日
Topology-Aware Workload Scheduling with NVIDIA Topograph
基于NVIDIA Topograph的拓扑感知工作负载调度➀ NVIDIA Topograph发现和标准化集群拓扑，以实现高效的工作负载调度；
➁ 支持Kubernetes、Slurm和Slinky进行拓扑感知调度；
➂ 与KAI Scheduler集成，实现AI工厂基础设施的群组调度。
Enabling Private High-Performance Production AI Inference with NVIDIA Confidential Computing
借助 NVIDIA 安全计算实现高性能生产级 AI 推理➀ NVIDIA 安全计算（CC）通过使用内存加密的CVM、机密GPU和加密NVLink来实现安全的AI推理；
➁ 为了保持高性能，优化推理框架和机密计算环境是至关重要的；
➂ 使用NVIDIA Blackwell GPU来检查AI推理框架如TensorRT LLM的CC感知适配；
➃ 性能结果显示，启用CC后保留了96.1%至98.2%的CC关闭输出令牌吞吐量，同时保持了很低的延迟开销。
Accelerating a ROS 2 Node with an AI Agent and NVIDIA Isaac ROS
使用AI代理和NVIDIA Isaac ROS加速ROS 2节点➀ NVIDIA Isaac ROS 5.0采用CUDA缓冲区后端以实现高效的数据移动；
➁ 人工智能编码代理帮助审计、重构和验证CUDA传输路径；
➂ Depth Anything 3 TensorRT ROS 2节点通过CUDA缓冲区后端展示了迁移过程。
What's New for Game Developers: DLSS 5 with 3D-Guided Neural Rendering, NVIDIA ACE Updates, and New RTX Kit Capabilities
游戏开发者新动态：DLSS 5的3D引导神经渲染、NVIDIA ACE更新以及新的RTX套件功能➀ NVIDIA DLSS 5推出3D引导神经渲染和细粒度控制，以实现逼真的光照和材质细节；
➁ NVIDIA ACE扩展了Nemotron Speech 3.5流式处理和Qwen3语音合成技术；
➂ RTX Kit SDK更新包括RTX Mega Geometry 2.0支持和RTX Spark支持。
9月21日
How to Evaluate AI Agents From Tool Calls to Task Completion
如何评估从工具调用到任务完成的AI代理➀ 代理评估已经从评分单个函数调用发展到测量完整任务完成；
➁ 执行跟踪上有两层评分：步骤级过程评分和端到端结果评分；
➂ 核心指标包括准确性、冗余度和成本，例如成功率与一致性范围的配对报告；
➃ 基准的可比性取决于任务复杂性、环境状态性和验证方法；
➃ Nemotron 3.5 Lightning在PinchBench上实现了86%的准确性；
➄ 文章强调在基准测试中工具使用的重要性；
➅ 企业部署决策应优先考虑基于真实票据和API构建的特定领域评估。
Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton
在 NVIDIA Dynamo-Triton 中使用 NVIDIA TensorRT 多设备集成简化跨多 GPU 的模型服务➀ NVIDIA TensorRT 多设备推理允许单个 TensorRT 网络在多个 GPU 上执行，同时保留 TensorRT 推理优化；
➁ NVIDIA Dynamo-Triton 26.07 版本支持 TensorRT 后端的多设备推理能力；
➂ 在 NVIDIA Cosmos 3 Nano 视频生成中，使用 Ulysses 上下文并行分布 44,160 个视频标记到最多八个 GPU 上；
➃ 端到端生成延迟从单个 GPU 上的 156.6 秒降低到八个 GPU 上的 34.2 秒。
Turn Your Latest Observations Into Timely Weather Decisions With NVIDIA Earth-2
使用NVIDIA Earth-2将最新观测转化为及时天气决策➀ NVIDIA Earth-2提供AI数据同化工具，处理观测数据以实现更频繁和更准确的预测；
➁ 基于分数的数据同化（SDA）将风速RMSE降低54%，并通过点观测改进预测；
➂ HealDA通过观测编码器和视觉变换器在几秒内估计全球大气状态；
➃ Earth2Studio提供对卫星、雷达和观测数据的统一访问，以用于模型开发和验证。
9月18日
Benchmarking LLM Inference at Scale with AIPerf
使用 AIPerf 在规模上进行 LLM 推理基准测试➀ NVIDIA AIPerf 以多进程架构替代了 GenAI-Perf，防止在高并发 LLM 基准测试中客户端成为瓶颈。
➁ AIPerf 支持超过 15 种端点类型和公共数据集，用于进行真实的工作负载测试。
➂ 核心指标如 TTFT、ITL、请求延迟和输出令牌吞吐量以百分位数分解和 GPU 遥测进行报告。
9月16日
TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
TensorRT Edge-LLM 在 NVIDIA Jetson AGX Thor 上完成 MLPerf Edge Agentic 基准测试，速度比 llama.cpp 快 6.4 倍➀ NVIDIA TensorRT Edge-LLM 在单个 NVIDIA Jetson AGX Thor 开发套件上实现了每秒 52.33 个令牌。
➁ 该提交在 24 分钟 36 秒内完成了 1,007 个回合，比 llama.cpp 参考运行快 6.4 倍。
➂ 结果使用了 NVFP4 量化、基于树的多元令牌预测和 KV 缓存重用。
How to Use AI Agents to Prepare 3D Scenes for Simulation
如何使用AI代理为模拟准备3D场景➀ NVIDIA Omniverse Libraries为Blender中用于机器人模拟的场景准备提供AI代理工作流程；
➁ NVIDIA NemoClaw部署了专用的Hermes子代理，使用ovphysx和ovrtx等工具；
➂ OpenUSD作为共享合同层，用于保留层次结构和元数据；
➃ 工作流程通过Blender模型上下文协议服务器检查场景，配置传感器和物理属性。
Translating CUDA Tile Operations from Python to Rust Using Agentic AI
使用代理人工智能将 CUDA 瓦片操作从 Python 转换为 Rust➀ cuTile Rust 将 Rust 所有权模型扩展到基于瓦片的 GPU 内核，实现了与 cuTile Python 相当的 99.5% 性能。
➁ 代理人工智能将 cuTile Python 和 Triton-TileIR 内核转换为 cuTile Rust，采用有限的代理工作流程。
➂ 转换涉及在内核签名中进行显式专业化，并通过 C-ABI 层与 TileGym 集成。
9月15日
Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARE
在 Docker、Kubernetes 和 Slurm 上扩展 NVIDIA FLARE 联邦学习的规模➀ NVIDIA FLARE 通过分离持久联邦服务与执行每个作业的过程，解决了跨不同环境组织的挑战；
➁ FLARE 的双层架构使父进程可用而不会占用 GPU，同时工作进程通过可移植的资源规范请求资源；
➂ FLARE 2.8 引入了 Docker 和 Kubernetes 部署支持，FLARE 2.9 添加了对 HPC 和共享 GPU 群集的 Slurm 支持。
How NVIDIA Groq 3 LPX Deterministic Execution Drives Power-Efficient High-Interactivity Inference on NVIDIA Vera Rubin
NVIDIA Groq 3 LPX 确定性执行推动 NVIDIA Vera Rubin 上高效的能效推理➀ NVIDIA Vera Rubin 平台强调每瓦性能；
➁ NVIDIA DSX MaxLPS 软件优化电源分配；
➂ NVIDIA Groq 3 LPX 确定性执行提高能效和吞吐量。
How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI Factories
NVIDIA NVLink 6如何为AI工厂提供多层容错性➀ NVIDIA NVLink 6通过结合轻量级前向纠错、物理层重试和UPHY恢复，在硅级别上纠正信号错误，几乎不产生延迟惩罚；
➁ 信用制流控在链路层设计上消除了数据包丢失，确保了可预测的低延迟，并允许在物理链路退化时进行自主链路重新平衡；
➂ NMX控制器使用“隔离和排空”状态与NMX高可用性，在几秒钟内迁移控制功能，以保持数据平面转发，即使在管理CPU重置期间也是如此。
Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each
密集模型与MoE模型：活动参数、吞吐量和选择时机➀ Nemotron 3.5 Lightning 使用MoE架构，仅激活30B参数中的3B；
➁ MoE模型通过将所有专家加载到VRAM中，将内存成本与计算成本解耦；
➂ 在相同的参数数量下，MoE模型的吞吐量高于密集模型；
➃ 调整MoE模型时需要小心避免路由器不平衡；
➄ 部署选择取决于内存预算、并发需求、调整计划和量化行为。
9月14日
Accelerating Dropless MoE Training in JAX with NVIDIA Transformer Engine
使用 NVIDIA Transformer Engine 加速 JAX 中的无损耗 MoE 训练➀ NVIDIA Transformer Engine 与 JAX 结合，在 NVIDIA GB200 上提高了 MoE 训练的吞吐量，将 DeepSeek-V3 的性能提升至 1,068 TFLOPS/GPU。
➁ 无损耗 MoE 通过不丢弃或填充每个标记来保持模型质量，由 Transformer Engine 的分组 GEMM 内核实现。
➂ NCCL EP 优化了专家并行操作，减少了网络流量并提高了效率。
9月10日
How Full-Stack NIM Optimizations Deliver 2.5x More Users on Nemotron 3 Ultra
全栈NIM优化如何在Nemotron 3 Ultra上实现2.5倍的用户数量➀ Nemotron 3 Ultra NIM在4xB200系统上比没有NIM优化的基线服务堆栈实现了高达2.5倍的系统吞吐量；
➁ NIM 2.0.12优化服务堆栈通过自动调整内核、张量并行、前缀和状态重用、调度器和内存调整以及MTP推测解码，在每用户50 TPS的目标下达到每秒1,997个令牌；
➂ NIM将模型和GPU感知的服务选择打包成一个可部署的微服务，具有验证过的配置、标准API和适用于企业的容器生命周期；
➃ 开发者可以使用NVIDIA AIPerf将NIM与自己的流量进行基准测试，重新播放代表性工作负载并选择满足其延迟SLO的帕累托点。
High-Throughput Structure Prediction with BioNeMo Inference Runtime
使用 BioNeMo 推理运行时进行高吞吐量结构预测➀ NVIDIA BioNeMo 推理运行时 (BioIR) 加速了 NVIDIA GPU 上的生物分子结构预测模型；
➁ BioIR 提供了端到端处理器并支持直接 PyTorch 模块集成；
➂ Ray 执行器通过重叠 CPU 阶段与 GPU 折叠来增加吞吐量；
➃ 与开源实现相比，BioIR 在残基归一化吞吐量方面提高了 2.90 倍；
➄ BioIR 将一百万个可比目标的估计额定功率等效能耗降低了 23 MWh；
➅ BioIR 已用于实际蛋白质组规模的工作，包括 AlphaFold 数据库的扩展。
From Wafer-Out to First Token: Codifying Supply Chain Expertise with Nemotron and Palantir Foundry
从晶圆出产到首次Token：利用Nemotron和Palantir Foundry将供应链专业知识编码化➀ NVIDIA在Palantir Foundry上建立了一个数字供应链智能指挥中心，以统一关键分配决策的材料、产能和质量信号；
➁ NVIDIA cuOpt解决了每周的混合整数线性规划问题，以最小化所有制造地点的拥有时间；
➂ NVIDIA使用NeMo Anonymizer、Data Designer和AutoModel在Palantir Autopilot生命周期内对捕获的分配决策、理由和结果进行Nemotron 3.5 Lightning的后训练；
➃ 后训练的30B模型在开发基准测试中达到了86.7%的分配决策准确率。
9月9日
CUDA Toolkit 13.4 Adds Windows on Arm Support and Greater Control over Shared GPUs
CUDA Toolkit 13.4 添加对 Windows on Arm 的支持以及共享 GPU 的更高级控制➀ CUDA Toolkit 13.4 添加了对 Windows on Arm 的支持，将 CUDA 应用程序开发扩展到 Linux on Arm 平台之外。
➁ 引入了 NVIDIA Rubin 架构（计算能力 107）的预览功能支持。
➂ Multi-Process Service V3 通过脚本 CLI 和 GPU 内存限制提高了对共享 GPU 的控制。
When to Use Encode-Prefill-Decode Disaggregation to Accelerate Multimodal Model Serving
何时使用编码-预填充-解码解耦以加速多模态模型服务➀ NVIDIA Dynamo 采用编码-预填充-解码 (EPD) 解耦技术，将视觉编码与 LLM 预填充和解码阶段分离，以加速多模态推理。
➁ EPD 解耦为图像密集型提示、短至中等输出和量化混合专家 (MoE) 模型提供了高达 5 倍的首次标记时间 (TTFT) 和 7 倍的端到端响应时间。
➂ 根据输入媒体负载、输出序列长度、模型大小和精度以及流量混合，EPD 解耦的效果不同；当解码主导延迟或大型密集模型减少视觉编码器的计算份额时，收益会减少。
9月8日
Introducing CUDA Rust: Two Tracks for Writing GPU Kernels
介绍 CUDA Rust：编写 GPU 内核的两种途径➀ 英伟达推出了 CUDA Rust，用于在 Rust 中开发 GPU 内核；
➁ 提供两种途径：SIMT 和 Tile，与 CUDA 的两种编程模型相匹配；
➂ CUDA Rust 旨在提高 GPU 编程中的内存安全和性能。
9月4日
Frontier Reasoning Reaches the Edge: How to Deploy and Optimize Models on NVIDIA Jetson
边缘推理迈向边缘：如何在NVIDIA Jetson上部署和优化模型➀ NVIDIA Jetson现在支持新的紧凑型开源模型，以实现本地边缘计算；
➁ 讨论了Nemotron 3.5 Lightning和Qwen3.8-27B模型及其特定的架构和优化技术；
➂ 强调了NVFP4量化和投机解码在Jetson上提高推理性能的作用。
Building a Memory-Driven Agent with NVIDIA NemoClaw
构建基于NVIDIA NemoClaw的记忆驱动代理➀ NVIDIA NemoClaw能够为企业工作提供记忆驱动的首席行政官代理；
➁ 代理维护一个结构化的自我模型，并使用SQLite账本来记录义务和审计事件；
➂ 评估显示自我模型提高了准确性和事实跟踪；
➃ NVIDIA OpenShell用于运行时执行和安全。
9月3日
How to Carry User Identity Across Federated Kubernetes and AI Platforms
如何在联邦 Kubernetes 和 AI 平台上携带用户身份➀ 描述了一种中央身份网关模式，用于在联邦数据平面之间传播用户身份；
➁ 在 NVIDIA，这种方法将重复登录事件减少了 55%；
➂ 该模式使用标准的 OpenID Connect、共享会话存储和无状态的数据平面网关。
NVIDIA PAIR Virtual Inference Router Expands Available Compute on Your Local Network
NVIDIA PAIR虚拟推理路由器扩展本地网络上的可用计算➀ NVIDIA PAIR虚拟推理路由器将本地AI任务分发以缓解多代理瓶颈；
➁ 支持Ollama和LM Studio，无需更改代理 harness；
➂ 通过利用本地硬件并将请求路由到本地网络上兼容的系统来优化AI计算。
9月2日
Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference
使用推测解码协同设计AI模型以加速LLM推理➀ 推测解码通过每迭代预测多个标记来加速LLM推理；
➁ 提供了选择最优草案长度和机制的指南；
➂ SPEED-Bench是由NVIDIA开发的推测解码基准，用于现实工作负载。
The Modern CUDA Toolbox in Practice: A Step-by-Step Optimization Walkthrough
现代CUDA工具箱实践：一步步优化教程➀ NVIDIA CCCL引入了现代启动API和索引模型，区分全局和块级坐标，消除了Compute Sanitizer捕获的越界共享内存访问；
➁ 使用CUB设备级和块级原语替换手动编写的内核，将每张图像的中值计算时间从2.1秒减少到773微秒，提高了2717倍；
➂ 使用cuda::device_buffer容器和cuda::device_memory_pool_ref消除了分配开销，将总管道时间减少了2.6倍；
➃ 在cuda::host_buffer固定内存中分配主机数据，将主机到设备的传输速度提高了10倍，将整个三图像运行时间缩短到约25毫秒；
➄ 为每个OpenMP线程分配自己的cuda::stream和异步cuda::copy_bytes，重叠内核和跨流的传输，最终运行时间为23毫秒——比原始的6.8秒快300倍。
9月1日
Building an Adaptive Agentic Cybersecurity System with NVIDIA Nemotron
使用NVIDIA Nemotron构建自适应智能网络安全系统➀ NVIDIA和CrowdStrike结合了Nemotron开放模型、Falcon遥测和专门的代理工具，创建了一个以验证为首要任务的攻击-防御型智能系统；
➁ 使用NVIDIA Nemotron 3 Ultra进行防御编排，而经过后训练的Nemotron 3 Super作为检测生成和修复的有限专家；
➂ 在六次测试中，优化后的开放模型管道实现了41.9%的平均检测率，比仅使用Nemotron 3 Ultra的默认工具提高了2.5倍。