N
Nvidia Developer

作者页面描述

8月11日

  • Route AI Agent Workloads Across Models with NVIDIA NeMo Switchyard

    使用 NVIDIA NeMo Switchyard 在模型间路由 AI 代理工作负载

    ➀ NVIDIA NeMo Switchyard 使得 AI 代理能够根据任务要求、成本和基础设施信号动态选择最佳模型;

    ➁ 提供了提供者无关的 SDK 以实现路由,并支持无调优和可调路由算法;

    ➂ 通过 LangChain 和 Cognition 的基准测试和实际测试,展示了在代理工作流程中的实际效益。

  • NVIDIA Nemotron 3.5 Lightning Delivers Fast, Accurate Specialized Task Execution for Long-Running Agents

    NVIDIA Nemotron 3.5 Lightning:为长时间运行的代理提供快速、精确的专用任务执行

    ➀ NVIDIA Nemotron 3.5 Lightning 是一个 30B 参数的 MoE 模型,专为 AI 代理中的高容量、低延迟执行而优化;

    ➁ 该模型包括推测性解码、工具优化训练和量化,以实现强大的准确性和速度;

    ➂ NVIDIA NeMo Switchyard 可实现智能模型路由,以实现最佳任务分配;

    ➃ Nemotron 3.5 Lightning 可定制,并支持各种训练和推理方法;

    ➄ 该模型适用于本地 AI 系统,并拥有不断增长的合作伙伴生态系统。

8月10日

  • Run Local Agentic AI Workflows with Meta's Muse Glimmer on NVIDIA

    在 NVIDIA 平台上使用 Meta 的 Muse Glimmer 运行本地 AI 工作流程

    ➀ Meta 发布了 Muse Glimmer,一个 30B 参数的密集模型,具有 120K+ 的上下文窗口,专为本地、长时间运行的代理型 AI 工作而设计,并优化在 NVIDIA 多种平台上运行。

    ➁ Muse Glimmer 使用密集架构,为每个处理的标记激活每个参数,无需路由、专家选择或标记路径之间的差异,从而在需要可靠指令遵循、长上下文一致性、可预测的延迟和较少故障模式的代理型工作负载中表现出色。

    ➂ NVIDIA Tensor Core 架构加速了这种计算模式,使设备上以全上下文长度实时进行代理推理成为可能。

8月4日

  • Generate Trajectories, Reasoning Traces, and Auto-Labels with NVIDIA Alpamayo 2 Super

    使用NVIDIA Alpamayo 2 Super生成轨迹、推理轨迹和自动标签

    ➀ NVIDIA Alpamayo 2 Super是一个34亿参数的开源推理视觉语言动作模型,专为自动驾驶汽车(AV)开发设计。

    ➁ 它结合了32B Cosmos 3 Super Reasoner和2B动作专家,提供统一的轨迹生成、推理、元动作预测和自动标签。

    ➂ 该模型支持多达七个摄像头的360度感知,并在各种基准测试中取得了最先进的成果。

  • Beyond VLAs: How World Action Models Reshape Robot Manipulation

    超越VLA:世界动作模型如何重塑机器人操作

    ➀ 世界动作模型(WAMs)提供了更强的物理泛化能力,并能够实现对新任务、机器人和环境的零样本迁移。

    ➁ NVIDIA Cosmos 3模型为基于WAM的机器人策略的后期训练提供了一个强大的基础。

    ➂ Cosmos 3能够在多个层级上进行实际部署,从高吞吐量的工作站到使用NVIDIA Jetson硬件的实时设备推理。

    ➃ WAMs学习物理知识,并且只需少量演示即可适应新的机器人,为策略构建提供了实际的优势。

8月3日

  • How to Run Isolated Tenant Kubernetes Clusters on Shared GPU Infrastructure

    如何在共享GPU基础设施上运行隔离的租户Kubernetes集群

    ➀ 使用KAI Scheduler和vCluster的联合架构,允许多个团队运行完全隔离的Kubernetes租户集群;

    ➁ KAI Scheduler提供基于拓扑感知的分层GPU调度,具有按团队配额和动态分配功能;

    ➂ vCluster为每个团队提供虚拟化的Kubernetes集群,确保完全的逻辑分离;

    ➃ 此解决方案使用两个开源工具:KAI Scheduler和vCluster;

    ➄ 演示教程使用单个NVIDIA L40S GPU,三个团队共享GPU的一部分;

    ➅ KAI Scheduler和vCluster一起为团队提供专用的集群体验,在单个GPU上实现零浪费。

  • NVIDIA Vera Storage Benchmarks: Faster Encryption, Compression, Integrity Checking, and Recovery for AI-Native Storage

    NVIDIA Vera存储基准测试:为AI原生存储提供更快的加密、压缩、完整性检查和恢复

    ➀ NVIDIA Vera BlueField-4 STX存储处理器集成了88个Olympus Armv9.2核心,为AI原生数据平台提供高单线程和带宽密集型存储处理;

    ➁ 基准测试结果显示,Vera在加密和解密(分别高达1.43倍和1.29倍)、Reed-Solomon恢复(高达3.26倍)、CRC32C完整性检查(高达3.67倍)、压缩(高达3.29倍)、解压缩(高达1.72倍)和多阶段管道操作(高达3.21倍)方面具有显著的吞吐量优势;

    ➂ Vera CPU架构支持AI基础设施在较低的CPU、功率和冷却环境中扩展代理执行和存储处理,支持更高的服务密度和更多并发数据流。

7月31日

  • Co-Designing AI Model Attention for Fast, Interactive Long-Context Inference

    协同设计AI模型注意力机制以实现快速、交互式的长上下文推理

    ➀ 分析了组大小、头维度和序列长度对密集注意力性能的影响;

    ➁ 提出了协同设计AI模型注意力机制的指南,以提高NVIDIA GPU上的推理吞吐量和交互性;

    ➂ 讨论了预填充和解码过程之间的差异以及各自的瓶颈。

  • NVIDIA Video Codec SDK 13.1: Zero-Copy Transcode, AV1 B-Frames, and Frame-Accurate Seek

    NVIDIA 视频编解码器 SDK 13.1:零拷贝转码、AV1 B 帧和帧精确搜索

    ➀ NVIDIA 视频编解码器 SDK 13.1 引入了支持最多 31 个 B 帧的 AV1 分层参考模式;

    ➁ 分层参考模式通过将 B 帧排列成树状结构来提高编码质量;

    ➂ 将 UHQ 调优信息与迭代编码相结合,以实现更好的质量和性能权衡;

    ➃ 为 H.264 和 HEVC 提供了每宏块解码统计信息;

    ➄ 通过 GOP 意识架构实现帧精确搜索;

    ➅ 重新设计的转码管道具有模块化、基于队列的架构和零拷贝转码支持;

    ➆ 提供基于 Docker 的官方开发环境,便于设置和重复性。

7月30日

  • Run High-Performance Core Math at Scale with NVIDIA nvmath-python

    使用 NVIDIA nvmath-python 在规模上运行高性能核心数学

    ➀ nvmath-python v1.0 提供了对 CUDA-X 和 NVPL 数学库的 Python 抽象;

    ➁ 引入了通用稀疏张量 (UST) 支持,允许用户创建自定义的稀疏格式;

    ➂ 集成了 Python 的日志模块,支持详细的计算跟踪。

  • Four Ways to Deploy More Secure AI Agents

    四招部署更安全的AI代理

    ➀ NVIDIA AI红队分享了如何通过访问控制、沙箱、网络出口限制和密钥管理来降低企业规模部署AI代理的风险;

    ➁ 指出企业AI代理中常见的可利用的失败模式,包括访问控制不足、通过代理工具执行任意代码、缺乏网络出口控制和代理环境中明文泄露的秘密;

    ➂ 提出了有效的缓解策略,包括强大的代理访问控制、沙箱执行环境、默认拒绝网络出口、排除持久秘密以及严格验证包源和工具权限。

  • NVIDIA Exemplar Cloud: Lessons for Unlocking Full Performance on AI Infrastructure

    NVIDIA Exemplar Cloud:释放AI基础设施全面性能的教训

    ➀ 在相同NVIDIA系统之间的训练吞吐量差异源于配置差距;

    ➁ 案例研究突出了性能损失的原因;

    ➂ 基础设施工程师可以通过优化配置来缩小性能差距;

    ➃ 训练性能差距背后的常见模式包括CPU功率和进程放置、运行时拓扑、 fabrics和集体行为以及应用程序到平台的绑定。

7月29日

  • How to Self-Host a Validated AI Coding Assistant with NVIDIA NeMo Guardrails

    如何使用NVIDIA NeMo Guardrails自托管经过验证的AI编码助手

    ➀ 本教程演示了如何在NVIDIA基础设施上使用STARCODER2-7B NIM自托管经过验证的AI编码助手;

    ➁ 集成了NVIDIA NeMo Guardrails、CI验证门和结果指标(Prometheus/Grafana)来执行策略限制并监控AI辅助的更改;

    ➂ 确保解决源数据主权、包幻觉和可追溯性问题。

7月28日

  • Developing Healthcare Robotics with GPU-Native Medical Physics Simulation

    使用GPU原生医学物理仿真开发医疗机器人

    ➀ 医疗机器人面临数据稀缺、泛化能力和开发速度等挑战。

    ➁ 英伟达的医学物理仿真框架通过GPU原生仿真环境来解决这些问题。

    ➂ 该框架支持实时、高保真度的设备-解剖建模、交互式机器人学习和统一的物理-成像管道。

7月27日

  • NVIDIA Ising Enables Fully Automated Quantum Computer Calibration with Enhanced In-Context Learning

    NVIDIA Ising实现完全自动化的量子计算机校准与增强情境学习

    ➀ NVIDIA Ising校准1.5是一个31B参数的视觉语言模型,用于诊断和调整量子处理器。

    ➁ 该模型在多个量子比特模态的多样化数据集上训练,并使用QCalEval基准进行评估。

    ➂ Ising校准1.5在BF16精度下将模型大小减少了11.4%,并提供了一个NVFP4量化版本。

  • Six Agent Harness Capabilities for Higher Model Performance

    六代理利用能力提升模型性能

    ➀ NVIDIA 实验室的 NOOA 是一个开源的面向对象的代理框架,它将代理作为单个 Python 类来结构化,通过方法、字段和文档字符串集成功能、状态和提示,类型注解作为强制契约;由 LLM 驱动的循环在运行时完成带省略号的方法体。

    ➁ NOOA 框架使代理能够以人类可读的 SQLite 存储库的形式管理长期、类型化和关系型记忆,支持知识积累、通过引用的上下文管理,并消除了对上下文压缩或摘要管道的需求。

    ➂ NOOA 在 SWE-bench Verified、CyberGym L1 和 ARC-AGI-3 基准测试中展示了最先进的性能和效率,与以前的框架相比,在准确性和令牌成本方面取得了更高的成果。

7月26日

  • NVIDIA Nemotron 3 Ultra Leads Open Models on Accuracy and Efficiency in Agentic RTL Coding

    NVIDIA Nemotron 3 Ultra 领先开放模型在代理 RTL 编码的准确性和效率

    ➀ NVIDIA Nemotron 3 Ultra 与 ACE-RTL 代理结合,在代理 RTL 工作流程中实现了最先进的准确性和效率。

    ➁ 在 CVDP 基准测试中,它在九个代理 RTL 任务类别中实现了 97.1% 的平均通过率。

    ➂ Nemotron 3 Ultra 的混合架构和对合成 RTL 数据集的培训实现了高吞吐量、低成本推理。

  • Advancing Semiconductor Innovation Across Materials Engineering and Manufacturing

    在材料工程和制造领域推动半导体创新

    ➀ 应用于材料和 NVIDIA 合作,创建了一个包含 GPU 加速平台的全栈式数字开发模型。

    ➁ 该合作利用 NVIDIA CUDA-X 库来加速材料模拟和其他工作流程。

    ➂ 这些进展使得材料性能-属性关系的快速探索和工艺配方优化成为可能。

    ➃ GPU 加速的模拟扩大了设计空间,基于物理的建模加速了开发和工艺。

    ➄ NVIDIA PhysicsNeMo 将模拟结果转换为实时数字孪生。

    ➅ 应用于材料使用 NVIDIA Omniverse 建立整个工厂的数字孪生。

7月24日

  • ModelExpress: Distributing Model Artifacts at the Speed of Light

    ModelExpress:以光速分发模型工件

    ➀ NVIDIA ModelExpress (MX) 通过选择最快的路径来加载权重,加速模型权重生命周期;

    ➁ 利用 NIXL 的 P2P RDMA 转发、GPUDirect 存储和运行时路径选择;

    ➂ 优化冷启动,最小化冗余数据移动,并自动化传输方法;

    ➃ 支持快速权重和内核缓存工件传输、接收器驱动的 RL 重新适配工作流程,并集成了 vLLM、SGLang、Dynamo 和 llm-d。

7月23日

  • Start Customizing NVIDIA Nemotron 3 Nano with Prime Intellect Lab in Minutes

    使用Prime Intellect Lab在几分钟内开始定制NVIDIA Nemotron 3 Nano

    ➀ 使用Prime Intellect Lab等平台,NVIDIA Nemotron 3 Nano的定制现在变得更加容易;

    ➁ 该过程包括设置托管强化学习、培训和评估改进;

    ➂ 教程演示了使用Python数学环境和LoRA适配器的定制。

  • Debugging Ray Tracing Applications Using NVIDIA OptiX Toolkit

    使用NVIDIA OptiX工具包调试光线追踪应用程序

    ➀ NVIDIA OptiX工具包(OTK)提供用于调试基于NVIDIA OptiX框架的GPU光线追踪的实用工具;

    ➁ OTK在OptiX、CUDA运行时和CUDA驱动程序API之间提供统一的错误检查;

    ➂ OTK中的DebugLocation机制支持交互式设备端调试输出和与ImGui等UI框架的集成。

7月22日

  • Make Long-Running NVIDIA TensorRT Engine Builds Observable and Cancelable in Python or C++

    在Python或C++中使长时间运行的NVIDIA TensorRT引擎构建可观察和可取消

    ➀ NVIDIA TensorRT的IProgressMonitor API允许在引擎构建期间进行细粒度、线程安全的进度跟踪和取消;

    ➁ 该API需要覆盖Python和C++中的三个方法,以跟踪嵌套构建阶段、更新进度和处理取消请求;

    ➂ 整合IProgressMonitor允许实时进度报告到终端、IDE、HTTP服务或代理运行时。

7月21日

  • Inside NVIDIA Rubin GPU Architecture: Powering the Era of Agentic AI

    NVIDIA Rubin GPU架构揭秘:驱动智能体AI时代

    ➀ NVIDIA Rubin GPU,作为Vera Rubin平台的一部分,每单位能量提供高达10倍的智能体吞吐量;

    ➁ 增强的Tensor核心、HBM4内存和第三代Transformer Engine有助于智能体工作负载的加速;

    ➂ 如Tensor Memory Accelerator和自适应压缩等创新优化了MoE扩展和长上下文注意力。

  • NVIDIA Vera CPU: Olympus Cores Built for Maximum Single-Thread Performance in Agentic AI

    NVIDIA Vera CPU:Olympus核心,专为Agentic AI的最大单线程性能而设计

    ➀ NVIDIA Vera CPU围绕Olympus核心构建,专为Agentic AI工作负载设计;

    ➁ 该架构专注于最大化单线程性能,利用乱序执行和支持深层次内存级并行;

    ➂ 它集成了NVIDIA空间多线程、可伸缩一致性 fabric 和 SOCAMM2 LPDDR5X 内存模块;

    ➃ 该CPU支持安全、可扩展的数据移动和可预测的代理工作负载吞吐量。

  • Setting a World Record for MoE Pre-Training on NVIDIA GB300 NVL72

    在NVIDIA GB300 NVL72上实现MoE预训练世界纪录

    ➀ NVIDIA GB300 NVL72在DeepSeek-V3 671B的预训练中实现了每GPU 1,648 TFLOPs的世界纪录;

    ➁ 展示了一个机架级、完全协同设计的AI基础设施,包括第五代NVLink、每GPU 1.8 TB/s的带宽和130 TB/s的非阻塞全对全带宽;

    ➂ 包括NVIDIA Megatron Core、TorchTitan和JAX在内的软件创新,相比前一代实现了3倍至10倍的性能提升。

7月20日

  • NVIDIA NVLink: The Scale-Up Network for AI Factories

    NVIDIA NVLink:AI工厂的扩展网络

    ➀ NVIDIA的第六代NVLink为AI工厂提供高带宽、低延迟的网络;

    ➁ 支持每GPU高达3.6 TB/s和机架级260 TB/s的带宽;

    ➂ NVLink的协同设计方法将硬件和软件集成,以实现性能提升;

    ➃ NVLink-C2C和NVLink Fusion扩展了到CPU的布线,并使半定制XPU基础设施成为可能。

  • Integrate NVIDIA Omniverse RTX Sensor Simulation Into Existing Apps

    将 NVIDIA Omniverse RTX 传感器模拟集成到现有应用中

    ➀ NVIDIA Omniverse 库提供了模块化的 API,用于基于 RTX 的传感器模拟。

    ➁ ovrtx 是一个轻量级的 C/Python SDK,用于生成传感器输出。

    ➂ 可与 CAD、Blender 和云原生设计工作流集成。

7月16日

  • Q&A: How Capcom Brought Path Tracing to RE ENGINE Across PRAGMATA and Resident Evil Requiem

    问答:卡普空如何将路径追踪技术应用于PRAGMATA和生化危机重制版中的RE ENGINE

    ➀ 卡普空RE ENGINE团队为《生化危机重制版》和《PRAGMATA》开发了游戏优化的路径追踪器;

    ➁ 该实现利用了NVIDIA RTX Kit和DLSS Ray Reconstruction进行高效的降噪;

    ➂ 路径追踪显著改变了内容管道,需要新的资产生产和质量控制工作流程;

    ➃ 技术增强了两个游戏之间的视觉一致性和逼真度。

  • Scaling Agentic AI Factories Through Extreme Co-Design with NVIDIA BlueField

    通过NVIDIA BlueField进行极端协同设计,扩展代理人工智能工厂

    ➀ 代理人工智能将推理转移到分布式工作流程,紧密耦合GPU、CPU、内存、网络、存储和安全。

    ➁ NVIDIA BlueField-4 DPU、Vera BlueField-4 STX存储处理器和DOCA软件平台实现了卸载、加速和隔离的基础设施处理。

    ➂ BlueField-4集成了高速网络、64核NVIDIA Grace CPU、PCIe Gen6和高带宽LPDDR5X内存。

  • Integrating Context-Aware Video AI Agents Into Enterprise Workflows

    将上下文感知视频AI代理集成到企业工作流程中

    ➀ 介绍了NVIDIA NemoClaw和Blueprints用于构建自主代理;

    ➁ 使用VSS和RAG蓝图进行引导式、上下文感知的视频分析和知识检索;

    ➂ VSS、RAG和NemoClaw的集成使得基于视频分析进行自动化行动成为可能。