作者页面描述
7月15日
Build a Multi-Camera 3D Tracking Application with NVIDIA DeepStream 9.1 Skills
使用NVIDIA DeepStream 9.1技能构建多摄像头3D跟踪应用➀ NVIDIA DeepStream 9.1推出了AutoMagicCalib(AMC)和多视图3D跟踪(MV3DT),用于自动相机校准和在多个摄像头视图中实现一致的对象跟踪。
➁ MV3DT处理来自多个摄像头的检测,分配全局一致的对象ID,并通过屏幕显示、鸟瞰图和Kafka消息输出结果。
➂ DeepStream 9.1提供了一个模块化的技能系统,包括13个智能技能,并支持Claude Code和Codex等编码代理。
Develop Lightweight USD Runtimes Faster with AI Agents
使用AI代理快速开发轻量级的USD运行时➀ nanousd-labs允许开发者使用AI代理从USD核心规范中生成轻量级的USD运行时;
➁ 该方法将USD核心规范视为一个由代理解析和实现的正式合同;
➂ nanousd提供稳定的C ABI数据层运行时,并支持动态后端交换。
Building Faster Cryptography with Carryless Multiplication in NVIDIA CUDA 13.3
利用 NVIDIA CUDA 13.3 中的无进位乘法构建更快的加密技术➀ NVIDIA CUDA 13.3 引入了新的硬件加速指令 clmad,用于所有 Ampere 及以上 GPU;
➁ clmad 在 NVIDIA B200 上将 GHASH 的吞吐量提高了 18.8 倍;
➂ clmad 将 GF(2^128) 上的 sum-check 协议加速了 3-13 倍。
7月14日
Lessons From the Leaderboard: What 5,000+ Kagglers Taught Us About Improving AI Reasoning
从排行榜中汲取的教训:5000多名Kagglers教我们如何提高AI推理能力➀ 在NVIDIA Nemotron模型推理挑战中,超过5000名Kaggle参与者致力于提高AI推理的准确性;
➁ 最优解决方案通过验证中间推理步骤、压缩轨迹、分离可重用知识和使用工具生成高质量训练数据来提高推理能力;
➂ 挑战赛强调了按任务类型衡量性能、针对真实故障模式进行验证以及利用社区讨论的重要性。
How to Run an Autoresearch Workflow with RL Agent Skills and NVIDIA NeMo
如何使用RL代理技能和NVIDIA NeMo运行自动研究工作流程➀ 类似于 Codex with GPT 5.5 的自主编码代理自动执行强化学习研究工作流程;
➁ Codex 将研究论文转换为可执行代码,并在自定义视觉语言环境中提高准确性;
➂ 工作流程展示了全栈自主性、目标驱动型自动研究和从论文到代码的能力。
Post-Train NVIDIA Cosmos 3 in One Day Using Agent Skills
一天内使用代理技能在 NVIDIA Cosmos 3 上进行后训练➀ 将 NVIDIA Cosmos 3 基础模型与 NVIDIA TAO 代理技能和 LoRA 集成,实现高效的后训练;
➁ 在 Woven Traffic Safety 数据集上,准确率从 54.41% 提升至 93.35%,最小化手动干预;
➂ TAO 代理技能自动化数据集处理、基线评估、LoRA 配置和超参数优化;
➃ Cosmos 3 Reasoner NIM 简化了生产部署;
➄ 相比于全参数 SFT,LoRA 后训练将 GPU 小时数减少了 7 倍;
➅ TAO AutoML 优化后训练的超参数;
➆ Cosmos 3 Nano 模型用于视频问答进行微调;
➇ 使用 Cosmos 3 Reasoner NIM 在生产中部署后训练模型。
7月13日
NVIDIA Ising Decoding Cuts Color Code Logical Error Rates by Over 300X
NVIDIA Ising解码将色码逻辑错误率降低超过300倍➀ NVIDIA的Ising解码器ColorCode 1 Fast比Chromobius实现了超过347.7倍的逻辑错误率(LER)和7.3倍更快的运行时间;
➁ 解码器使用三角形色码的3D卷积神经网络(CNN)预解码器,实现了可扩展、低延迟和精确的实时解码;
➂ NVIDIA向Ising模型家族提供开放访问权限,允许研究人员和开发者为自己的量子处理器单元(QPU)定制和部署高性能解码器。
Extreme Event Likelihoods with Guided Generative Models
基于引导生成模型的极端事件可能性➀ 基于引导扩散的气候模拟器,如NVIDIA cBottle,能够有效地对罕见极端天气事件进行重要性采样。
➁ 概率比诊断量化了引导引起的可能性变化,并允许重新加权引导样本。
➂ 这种方法在NVIDIA Earth2Studio中实现,对于罕见事件至关重要的领域具有广泛的应用前景。
7月11日
How to Evaluate General-Purpose Robot Policies for Real-World Deployment
如何评估通用机器人策略以进行实际部署➀ NVIDIA 研究的 RoboLab 通过机器人无关的基准测试、快速的任务和场景生成以及高级诊断工具解决了机器人策略评估中的关键问题。
➁ RoboLab 的任务隔离视觉、程序和关系能力,确保全面覆盖操作技能和适应性。
➂ RoboLab 使用评分任务得分、轨迹质量测量和执行速度来全面评估机器人策略。
7月10日
AI Model Co-Design: Hardware-Friendly LLM Design
AI模型协同设计:硬件友好型LLM设计➀ 硬件感知的变压器模型设计对高吞吐量、低延迟的LLM推理需要接近正方形的线性层维度;
➁ 使用TensorRT模型优化器和LLM压缩器的NVFP4量化可以实现高吞吐量和最小精度损失;
➂ 专家并行和混合并行策略提高了模型的可扩展性并缓解了瓶颈。
Kernel Fusion in NVIDIA CUDA: Optimizing Memory Traffic and Launch Overhead
NVIDIA CUDA中的内核融合:优化内存流量和启动开销➀ 介绍了NVIDIA CUDA中的内核融合,用于优化内存带宽和减少内核启动开销。
➁ 讨论了将多个GPU操作合并到单个设备内核中的好处。
➂ 提供了手动和隐式内核融合技术的示例。
Reducing High-Bandwidth Memory Bottlenecks in JAX-Based LLM Training with Host Offloading
使用主机卸载降低基于JAX的LLM训练中的高带宽内存瓶颈➀ JAX中的主机卸载通过将选定的激活移动到固定主机内存来减少HBM压力;
➁ 特别适用于NVIDIA Grace Blackwell系统,因为CPU-GPU连接性高;
➂ 提高了MaxText工作负载的训练吞吐量和可实现的批大小;
➃ 性能取决于与其他GPU工作的重叠;
➄ 当HBM容量限制模型大小、序列长度或批大小时,主机卸载最有用。
Accelerating End-to-End Co-Folding Performance with NVIDIA BioNeMo Agent Toolkit
利用NVIDIA BioNeMo Agent Toolkit加速端到端协同折叠性能➀ NVIDIA的BioNeMo Agent Toolkit实现了从多序列比对生成到协同折叠推理的端到端加速;
➁ MMseqs2-GPU在Hopper和Blackwell架构上比CPU JackHMMER快177倍实现多序列比对生成;
➂ cuEquivariance将OpenFold3的前向传播运行时间减少了3倍,并将序列长度限制扩展到约5.9k个标记;
➃ Fold-CP允许上下文并行推理,将每个GPU的内存需求降低到O(N/P),允许对大型组装(在64个B300 GPU上高达32,000个标记)进行建模。
7月9日
Synthetic Data Generation for Financial AI Research with NVIDIA NeMo
使用 NVIDIA NeMo 为金融 AI 研究生成合成数据➀ 通过 NVIDIA NeMo 数据设计师、管理员和 Nemotron 模型,迭代管道生成了 502,536 条独特的金融新闻标题;
➁ 数据集 FinHeadlineMix 优化了模型蒸馏和分类任务;
➂ 该方法确保了语料库的高多样性,并最大限度地减少了常见事件类型的过度表示。
A Practical Guide to GPU-Initiated Communication for Molecular Dynamics at Scale
大规模分子动力学中的GPU启动通信实用指南➀ GROMACS的基于MPI的halo exchange引入了显著的扩展瓶颈;
➁ 使用NVIDIA NVSHMEM引入了GPU启动的远程内存访问,消除了CPU在通信关键路径中的存在;
➂ 通过依赖感知的内核融合,将每个脉冲的原子索引图分为独立和依赖的子集,从而减少了每个时间步长的内核启动次数;
➃ 在NVIDIA Eos超级计算机和NVIDIA GB200 NVL72集群上的基准测试表明,与GPU感知的MPI相比,改进了节点内和节点间强扩展性能。
7月8日
Running Low-Latency Analytical Workloads with GPU-Accelerated Presto on NVIDIA GB200 NVL72
在NVIDIA GB200 NVL72上使用GPU加速Presto运行低延迟分析工作负载➀ 在NVIDIA硬件上运行的GPU加速Presto在TPC-H基准测试中优于多节点CPU集群,实现了高达8倍的更低延迟。
➁ 关键性能提升包括cuDF用于查询执行、NVLink用于GPU通信以及GPUDirect Storage用于高吞吐量数据传输。
➂ 集群级优化增加了I/O任务大小并使用更多的I/O线程,从而使查询运行时间提高高达64%。
Create a LangChain Deep Agents Harness Profile for NVIDIA Nemotron 3 Ultra to Improve Performance
为NVIDIA Nemotron 3 Ultra创建LangChain深度代理工具配置文件以提高性能➀ 开发了针对NVIDIA Nemotron 3 Ultra的LangChain深度代理工具配置文件以提高性能;
➁ 利用工具配置文件工程来提高代理精度而无需微调;
➂ 解释了迭代改进循环以最小化回归和过拟合;
➃ 讨论了通过代理提议者自动化以进行自我纠正的工具配置文件改进;
➄ 讨论了代理系统中的精度和成本之间的权衡;
➅ 概述了为NVIDIA Nemotron 3 Ultra调整深度代理的过程。
7月7日
Maximize Spectral Efficiency with AI-Native RAN and NVIDIA AI Aerial
利用AI原生RAN和NVIDIA AI Aerial最大化频谱效率➀ NVIDIA AI Aerial利用GPU加速和AI原生架构在RAN中提高频谱效率;
➁ 在基于AI的波束成形中实现高达1.62倍的吞吐量增益,在基于DRL的链路自适应中实现1.3倍的吞吐量提升;
➂ 支持可扩展的、软件定义的RAN演进和未充分利用的GPU资源的货币化。
Building an Analysis AI Agent for Industrial Alarm Management with NVIDIA Nemotron
利用NVIDIA Nemotron构建工业警报管理分析AI代理➀ 使用NVIDIA NeMo Agent Toolkit进行证据收集和行动推荐自动化;
➁ NVIDIA Nemotron开源模型与GPU加速库集成以进行专业分析;
➂ 通过OpenShell和策略验证实现代理的持续演进和强大的安全性。
Develop Humanoid Robot Policies End-to-End with NVIDIA Isaac GR00T
使用 NVIDIA Isaac GR00T 开发人形机器人策略的全流程➀ NVIDIA Isaac GR00T 开发平台提供人形机器人策略的全流程解决方案;
➁ GR00T 1.7 引入了一种视觉-语言-动作模型,该模型在人类演示和模拟数据上进行了预训练;
➂ 许多机器人公司和研究机构正在采用 GR00T 平台。
NVIDIA Vera CPU Boosts AI Factory Throughput to Accelerate Agentic Workloads
NVIDIA Vera CPU提升AI工厂吞吐量,加速代理工作负载➀ NVIDIA Vera CPU架构在满载下提供1.8倍的核心性能;
➁ 优化代理推理和交互式部署的响应速度;
➂ 最小化CPU侧停顿并最大化吞吐量;
➃ 在代理AI工厂中实现更高的GPU利用率和效率。
7月6日
Enhancing Goodput in Large-Scale LLM Training with Nonuniform Tensor Parallelism
大规模LLM训练中非均匀张量并行性提升输出率➀ 非均匀张量并行性(NTP)通过动态调整张量并行度来提升大规模LLM训练的输出率;
➁ NTP防止瞬时设备问题导致大型训练作业停滞;
➂ NTP采用高效的重新分配技术以保持高计算效率;
➃ NTP与先进的机架设计集成,以实现动态电源提升;
➄ NTP旨在优化混合专家(MoE)模型的容错性。
7月2日
Hardware-Rooted AI Security That Won't Slow You Down
基于硬件的AI安全,不会降低您的工作效率➀ NVIDIA Confidential Computing(CC)在Blackwell GPU中集成硬件级安全,确保数据、代码和模型在推理过程中的完整性;
➁ 在HGXB300上的基准测试表明,启用CC对吞吐量和每令牌延迟的影响很小(通常低于8%),保持接近原生的推理性能;
➂ CC通过优化性能,如FlashInfer中的CC安全自动调整、异步D2H复制工作员和SGLang中的分段CUDA图支持,以减轻安全工作提交和加密带宽限制的影响。
7月1日
Mastering Agentic Techniques: AI Agent Reinforcement Learning
掌握代理技术:AI代理强化学习➀ 强化学习(RL)正变得越来越实用,可以定制特定领域的企业工作流程中的语言模型和代理。
➁ 英伟达的Nemotron 3 Super和NeMo RL生态系统支持针对特定代理任务的RL高效训练。
➂ RL需要明确的任务定义、可靠的奖励函数和迭代实验,以确保代理性能在现实世界中的实际改进。
6月30日
Designing GPU-Accelerated Query Engines with NVIDIA GQE
使用NVIDIA GQE设计GPU加速查询引擎➀ GQE利用NVIDIA硬件特性加速SQL查询执行;
➁ 采用混合压缩和高级数据编排提高性能;
➂ 在TPC-H SF1000基准测试中,相较于CPU数据库实现7.5倍的速度提升。
Optimizing a Neural Reconstruction Pipeline Using NVIDIA Nsight Developer Tools
使用 NVIDIA Nsight 开发者工具优化神经网络重建管道➀ NuRec 神经重建管道利用神经网络渲染技术和 GPU 加速的模拟来创建高保真的数字孪生;
➁ 使用 NVIDIA Nsight Systems 和 Nsight Compute 识别了内核启动、同步和 GPU 资源利用中的低效;
➂ 优化措施包括融合小型内核、删除不必要的同步点以及拆分 renderBackward 内核以提高 GPU 占用率和运行时间。
6月29日
How to Govern Autonomous Agents in Enterprise AI Factories
如何在企业AI工厂中管理自主代理➀ NVIDIA安全代理工作空间参考设计将展示层与执行层分离,以强制执行安全的代理操作。
➁ 该设计涉及为每个用户提供专用的虚拟机,强制执行单点登录,阻止未经批准的网络访问,以及要求对重大行动进行人工批准。
➂ 架构利用GitOps和企业身份管理,确保代理操作的重复性、可审计性和隔离性。
6月26日
Deploy a Production-Ready NVIDIA AI-Q Blueprint on Oracle Cloud Infrastructure
在Oracle云基础设施上部署生产就绪的NVIDIA AI-Q蓝图➀ NVIDIA AI-Q蓝图是多代理架构AI代理的开源参考;
➁ 文章描述了如何使用Terraform和Helm在Oracle云基础设施上部署AI-Q 2.0;
➂ 提供了配置Terraform变量、创建基础设施、安装AI-Q和打开AI-Q的详细步骤。
Creating the NVIDIA Nemotron 3 Ultra NVFP4 Checkpoint with NVIDIA Model Optimizer
使用NVIDIA模型优化器创建NVIDIA Nemotron 3 Ultra NVFP4检查点➀ NVIDIA Nemotron 3 Ultra NVFP4检查点在解码密集型工作负载上,比GLM-5.1 754B FP4模型实现了高达5.9倍的推理吞吐量。
➁ 根据对架构的敏感度和对模型准确性的影响,NVFP4检查点中的不同层被量化到不同的精度格式。
➂ Nemotron 3 Ultra NVFP4检查点可以在NVIDIA Hopper和Blackwell架构上运行,根据硬件选择W4A16和W4A4。
6月25日
Scaling AI Inference Across Multiple GPUs Using NVIDIA TensorRT with Multi-Device Inference Support
使用NVIDIA TensorRT和多设备推理支持在多个GPU上扩展AI推理➀ NVIDIA TensorRT 11.0引入了原生的多设备推理;
➁ 上下文并行将输入序列分配到多个GPU;
➂ DeepSpeed Ulysses在基于扩散的媒体生成中提供了最低的延迟。