N
Nvidia Developer

作者页面描述

10月14日

  • Optimizing Agent Reliability and Tool Calling Efficiency for Chip Design Using NVIDIA NeMo Gym

    使用NVIDIA NeMo Gym优化芯片设计中的代理可靠性和工具调用效率

    ➀ 西门子EDA利用代理评估将代理轮次减少了66%,同时将基准分数从55%提高到95%;

    ➁ NVIDIA NeMo Gym提供了一个开放的评估环境,用于诊断故障模式并跟踪错误在多阶段芯片设计工作流程中的传播;

    ➂ 西门子Fuse EDA AI代理使用NeMo Gym评估和改进了Liberty文件生成,将复合验证分数从大约55%提高到约95%;

    ➃ 通过对代理的技能和模型上下文协议(MCP)工具描述进行优化,输出令牌数量从约81K减少到29K。

10月13日

  • How to Rewrite Apache Spark UDFs for GPU Acceleration with AI Agents

    如何使用AI代理重写Apache Spark UDF以实现GPU加速

    ➀ NVIDIA cuDF插件用于Apache Spark利用GPU并行性加速数据分析工作负载;

    ➁ 使用Spark SQL表达式、RapidsUDF接口或自定义CUDA内核重写UDFs;

    ➂ 通过cuDF技能集,使用代理驱动的流程来指导测试、转换、基准测试和优化;

    ➃ 一个主要消费技术公司使用此工作流程转换了30多个生产UDFs;

    ➄ 重写保留了原始CPU UDFs的行为,同时从其他GPU加速工作负载中移除了昂贵的回退。

  • NVIDIA Run:ai Is Now Open Source as Part of NVIDIA DSX AI Factory Platform

    NVIDIA Run:ai 现已开源,作为 NVIDIA DSX AI 工厂平台的一部分

    ➀ NVIDIA 将完整的 NVIDIA Run:ai 平台以开源软件的形式发布;

    ➁ 该平台包括四个模块化组件:KAI 调度器、GPU 分割操作员、KAI 资源管理和工作负载图;

    ➂ NVIDIA DSX 生态系统合作伙伴正在将该平台集成到他们的产品中。

10月12日

  • ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

    重新思考混合模型解码中的状态存储:ReplaySSM

    ➀ NVIDIA与普林斯顿大学Dao AI实验室推出了ReplaySSM技术,用于加速混合模型解码;

    ➁ ReplaySSM通过缓存最近输入来减少状态内存流量,将解码速度提高了1.46倍到1.80倍;

    ➂ 该技术支持低精度状态,误差积累较少,在评估的模型中保持了与FP32相当2个百分点的准确性。

10月8日

  • Building Reliable Data Analytics Agents: Lessons from the KDD Cup

    从 KDD 杯获得构建可靠数据分析代理的教训

    ➀ 液面科技 KGMON 团队在 KDD Cup 2026 数据代理比赛中获得了第二名,其系统专注于更小、更清晰且易于验证的代理工具包;

    ➁ 比赛要求代理在多种数据源上回答自然语言问题,这需要复杂任务,包括数据检查、工具选择、跨来源推理以及生成最终答案文件;

    ➂ 系统背后的关键原则包括约束动作空间和确保每个尝试可检查,包括数据规范化、方案侦察、构建小型、有观点的工具包、将文本视为一等输入、视频预处理和记录跟踪以进行故障检查等技术。

  • 5 Steps to Create SimReady Assets for Robotics with Frontier AI Models

    使用前沿AI模型为机器人创建SimReady资源的5步指南

    ➀ NVIDIA Omniverse库和SimReady Foundation规范有助于将CAD资产转换为适用于机器人的模拟就绪OpenUSD资产。

    ➁ 五步工作流程包括导入机器人、匹配视觉外观、配置物理属性、验证SimReady要求以及运行抓取和放置任务。

    ➂ 前沿AI模型如GPT-6 Astra通过使用调用Omniverse工具的Python代码来自动化流程。

10月7日

  • The Machines that Make the Machines

    制造机器的机器

    ➀ NVIDIA 西雅图机器人实验室和 NVIDIA Isaac 工程团队开发了用于组装 GB300 测试托盘的机器人系统;

    ➁ 采用经典模块化管道,使用 FoundationPose 进行感知,Lissajous 曲线操纵原语进行航点规划,以及高性能阻抗控制器,在总线组装任务中实现了超过 95% 的成功率;

    ➂ 使用深度物体姿态估计重新审视 (DOPER) 框架进行连接器抓取,并通过 NVIDIA Isaac 实验室使用模拟到现实强化学习进行预训练;

    ➃ 机器人服务以及任务和代理生命周期编排系统 (TALOS) 提供了可重用的容器化感知、规划和控制组件。

  • Faster Scientific Image Analysis with NVIDIA cuPhoton

    利用NVIDIA cuPhoton加速科学图像分析

    ➀ NVIDIA cuPhoton是一个开源的CUDA-X工具包,通过在GPU上处理图像数据,将处理时间从数月缩短到数分钟。

    ➁ cuPhoton提供了GPU加速模块,包括xDataReader、xRep、xPois、xFit和xScan等。

    ➂ 在使用多个GPU的代表性工作负载中,cuPhoton将图像加载速度提高了高达14,900倍,将信号处理速度提高了高达14,550倍。

  • Scaling Decision Optimization to 100 Million Variables and Beyond with mPDLP in NVIDIA cuOpt

    使用 NVIDIA cuOpt 中的 mPDLP 将决策优化扩展到 1000 万个变量以上

    ➀ NVIDIA cuOpt 推出了 mPDLP 解算器,用于解决大型线性规划问题;

    ➁ mPDLP 减少了求解时间和峰值内存使用;

    ➂ mPDLP 在供应链和能源模型等大规模问题上实现了加速。

  • Validate AI Factory Changes with Digital Twins and AI Agents

    使用数字孪生和AI代理验证AI工厂的变更

    ➀ NVIDIA DSX Air 提供了一个基于节点的数字孪生,模拟AI工厂基础设施和软件接口,以便在硬件到达之前进行验证;

    ➁ Agentic工作流程可以查询孪生体,运行配置检查,将结果与策略进行比较,并在受控的自动化循环中产生基于证据的建议;

    ➂ NVIDIA Brev 提供按需GPU计算,连接到DSX Air环境,使AI服务能够对模拟工厂执行已验证的任务。

10月6日

  • How DOCA GPUNetIO Unifies GPU-Initiated Networking Across the NVIDIA Software Stack

    DOCA GPUNetIO如何统一NVIDIA软件栈中的GPU触发的网络

    ➀ DOCA GPUNetIO为CUDA内核提供了一个统一的GDA-KI基础,可以直接驱动以太网、RDMA、Verbs和DMA操作,而不需要CPU干预。

    ➁ 包括NCCL、NVSHMEM、UCX/NIXL和Holoscan Sensor Bridge在内的多个通信库现在使用GPUNetIO基础。

    ➂ GPUNetIO减少了实现复杂性,并提高了小消息大小的性能。

  • Control How Your GPU Shares Work with Green Contexts

    控制您的GPU如何与绿色上下文协同工作

    ➀ NVIDIA的CUDA 13.1引入了绿色上下文,允许应用程序显式分区GPU执行资源;

    ➁ 绿色上下文可以将特定数量的SM分配给一个上下文,从而降低关键内核的延迟;

    ➂ 绿色上下文提供了一种更轻量级的编程模型,允许应用程序直接将工作提交给选择的绿色上下文;

    ➃ 绿色上下文特别适用于需要同时运行多个独立工作负载的应用程序。

  • AICR v1.0: Open, stable, and verifiable GPU cluster configuration

    AICR v1.0:开放、稳定且可验证的GPU集群配置

    ➀ NVIDIA AI集群运行时(AICR)为GPU加速Kubernetes集群提供版本锁定、验证过的食谱;

    ➁ AICR v1.0在其CLI、REST API、Go SDK、包布局和工件模式方面建立了一个稳定的兼容性合同;

    ➂ AICR提供四个独立的功能:快照、食谱、包和验证。

  • Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core

    使用NVIDIA Megatron Core扩展位运算确定性预训练

    ➀ NVIDIA Megatron Core通过记录有序的每秩张量指纹来定位和修复大规模预训练中的非确定性;

    ➁ 位运算确定性使大规模预训练更容易调试、验证和可重复执行;

    ➂ 通过优化Nemotron工作负载,将确定性税收降低到约2%,同时保持800步以上的位运算确定性。

10月1日

  • Build Local AI Apps with C++ and NVIDIA TensorRT RTX Samples

    使用 C++ 和 NVIDIA TensorRT RTX 样本构建本地 AI 应用

    ➀ NVIDIA 的 DIN Deploy 提供了开源的 C++ 样本,用于本地 AI 推理加速;

    ➁ 结合了 ONNX 运行时和 NVIDIA TensorRT RTX 执行提供者;

    ➂ 支持包括自动语音识别和图像分割在内的各种 AI 任务;

    ➃ 展示了 GPU 加速和模型量化技术。

  • Build Applications on NVIDIA BlueField Faster with NVIDIA DOCA Agent Skills

    使用NVIDIA DOCA代理技能更快地在NVIDIA BlueField上构建应用程序

    ➀ NVIDIA DOCA代理技能提供验证的API签名、硬件能力要求和构建约束。

    ➁ 技能涵盖了DOCA库的各个方面,包括Flow、GPUNetIO、PCC和RDMA。

    ➂ 一侧对比演示显示,具有技能的代理使用了73%的更少的手写代码和46%的更少的硬件命令。

9月30日

  • Expanding AI Storage Access with NVIDIA cuObject and the NVIDIA SCADA Server SDK

    利用NVIDIA cuObject和NVIDIA SCADA服务器SDK扩展AI存储访问

    ➀ NVIDIA cuObject客户端和服务器库现在可用,提供标准化的API和RDMA线协议,以实现加速的对象存储访问,无需通过服务器CPU路由数据。

    ➁ xio-sig联盟正在扩展,包括cuObject和cuFile,Google Cloud正在评估参与,Microsoft计划加入董事会以提高存储I/O互操作性。

    ➂ 新的SCADA服务器SDK使存储提供商能够构建响应来自SCADA客户端的GPU发起请求的服务器,IBM存储已展示了将SCADA与IBM存储扩展集成的原型。

  • Deploying an HSTU Generative Recommender with NVIDIA Dynamo-Triton

    使用NVIDIA Dynamo-Triton部署HSTU生成式推荐系统

    ➀ NVIDIA recsys-examples提供了与Dynamo-Triton结合的端到端HSTU推理工作流程;

    ➁ PyTorch AOTI将HSTU排名模型编译成原生C++工件;

    ➂ FlexKV支持的KV缓存存储可重用的注意力状态,以避免重新计算长的用户历史。

  • Tracing Agent Harness Behavior with NVIDIA NeMo Relay

    使用NVIDIA NeMo Relay追踪代理行为

    ➀ NVIDIA NeMo Relay为代理运行提供通用的可观察性层。

    ➁ Hermes Agent与NeMo Relay集成,生成事件流和轨迹。

    ➂ 追踪使代理的 harness 评估受到控制并改善任务结果。

  • Fine-Tuning NVIDIA Nemotron for Saudi Arabic Dialects, with a Path to Other Languages

    针对沙特阿拉伯方言微调NVIDIA Nemotron,并扩展到其他语言

    ➀ NVIDIA Nemotron 3.5 ASR支持40个语言区域的多语言流式转录;

    ➁ 使用NVIDIA NeMo框架进行定制化微调,优化了Najdi和Hijazi方言的语音识别;

    ➂ 通过部分解冻编码器,降低了计算需求,同时保持了模型的适应性;

    ➃ 采用更大的注意力和beam搜索解码,提高了转录准确率,但增加了延迟。

  • Tracing Agent Harness Behavior with NVIDIA NeMo Relay

    使用 NVIDIA NeMo Relay 追踪代理行为

    ➀ NVIDIA NeMo Relay 为代理运行提供统一的可观察层;

    ➁ Hermes Agent 与 NeMo Relay 集成,生成事件流和轨迹;

    ➂ 追踪允许对 harness 进行受控评估,并比较基线和修复版本。

9月29日

  • Lower the Cost of Building and Running Visual AI Agents with NVIDIA VSS Blueprint 3.3

    使用NVIDIA VSS蓝图3.3降低构建和运行视觉AI代理的成本

    ➀ NVIDIA VSS蓝图3.3连接视觉语言模型、大型语言模型和工具,将视频处理成自然语言;

    ➁ 构建视觉代理技能自动化部署并扩展现有设置;

    ➂ 自适应EVS减少了VLM处理和运营成本;

    ➃ VSS 3.3通过新功能降低了开发和运营成本。

  • AI Native by Design: Lessons Learned from Building NVIDIA TensorRT Model Connect

    AI原生设计:从构建NVIDIA TensorRT模型连接中学到的经验

    ➀ NVIDIA TensorRT模型连接是一个基于NVIDIA TensorRT的C++ AI模型参考实现的开源集合;

    ➁ 该项目通过将AI输出视为模块化、可验证的工作单元来展示AI原生开发;

    ➂ 它专注于横向扩展、代理结果和模型家族隔离,以提高开发效率;

    ➃ 项目强调可读性证据、代理原生自我改进测试、可重复的CI和QA与开发者之间的对抗性协作来进行验证。

9月28日

  • Add Runtime Controls to AI Agents with NVIDIA OpenShell

    利用NVIDIA OpenShell为AI代理添加运行时控制

    ➀ NVIDIA OpenShell 0.1.0提供了一种开源运行时,可以强制执行AI代理可以访问的系统和数据;

    ➁ 该运行时结合了沙箱执行、受控服务访问、凭证管理和形式化策略分析,以限制API操作并保护代理工作负载之外的凭证;

    ➂ 包括Cadence、Slack和Gecko Robotics在内的组织正在采用OpenShell进行芯片设计、企业自动化和物理机器人治理。

  • NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring

    NVIDIA开放代理安全平台:硅中代理持续监控的参考

    ➀ NVIDIA开放代理安全平台结合OpenShell和NVIDIA Sentry,为AI代理创建分层安全架构;

    ➁ 该平台遵循五个核心原则:可验证策略、带外执行、控制模型路径、通过推理可见性扩展代理权限,以及应用共享责任模型;

    ➂ NVIDIA Sentry使用NVIDIA DOCA将监控和执行扩展到BlueField硬件;

    ➃ BlueField-4数据处理器提供持续的带外可观察性和实时策略执行;

    ➄ NVIDIA开放代理安全平台针对NVIDIA Vera CPU和BlueField DPU系统进行了优化;

    ➅ 该平台旨在为代理构建一个信任层,类似于互联网的安全和安全性层。

9月27日

  • How NVIDIA DSX MaxLPS Maximizes AI Factory Throughput and Efficiency

    如何通过NVIDIA DSX MaxLPS最大化AI工厂吞吐量和效率

    ➀ NVIDIA DSX MaxLPS通过策略管理的功率共享,动态地在参与资源间分配功率,使得在相同的批准功率预算下能够部署高达40%更多的GPU。

    ➁ DSX MaxLPS将归一化总吞吐量提高了49.2%,每兆瓦功率吞吐量从4.10 tokens/s/W提高到6.12 tokens/s/W。

    ➂ 中位数和P75延迟保持在基线5%以内,但P99时间首次出令牌增加了17%,突出了在评估容量增益的同时也需要评估尾部延迟。

9月24日

  • Efficient MoE Training for Biological Foundation Models

    高效MoE训练的生物基础模型

    ➀ NVIDIA Transformer Engine(TE)通过优化分组专家计算、内核融合和低精度训练的原语来帮助解决瓶颈。

    ➁ BioNeMo配方使用TE支持FP8和MXFP8训练,减少内存使用。

    ➂ TE的GroupedLinear通过收集专家权重和输入令牌,在一次调用中应用多个线性变换。

9月23日

  • How SWE-Serve Exposes the Gap Between Local Tests and Live Serving

    SWE-Serve如何揭示本地测试与实时服务之间的差距

    ➀ SWE-Serve评估AI编码代理在53个推理工程任务上的表现,这些任务来源于83个合并的SGLang pull请求;

    ➁ 在19个任务中,相同补丁在没有实时服务检查的情况下通过了69.4%的时间,而通过完整验证器时只通过了45.9%;

    ➂ 涉及多个运行时域的任务,如请求处理、调度、模型执行和KV缓存管理,其通过率比单域任务低21.3个百分点。

  • Manage Kubernetes Node Fleets with NodeWright

    使用 NodeWright 管理 Kubernetes 节点集群

    ➀ NodeWright 是一款开源的 Kubernetes-native 包管理器,用于主机操作系统配置;

    ➁ NodeWright 通过编排节点更改确保更新期间的作业连续性;

    ➂ DeploymentPolicy 资源可以实现跨集群分区的受控部署。

  • Validate GPU Cluster Readiness Before AI Workloads Land

    在AI工作负载到来之前验证GPU集群的可用性

    ➀ NVIDIA集群就绪引擎(NVCRE)是一个开源的Kubernetes控制器,在生产工作负载到来之前验证GPU集群的可用性。

    ➁ NVCRE在拓扑感知的节点组上运行实际的分布式工作负载,并使用认证、工作流程和作业自定义资源的分层API。

    ➂ 它与NVIDIA AI集群运行时集成以验证配置,并与NVSentinel集成以进行持续的健康监控。