➀ NVIDIA Recovery 是一个开源服务，旨在自动化分布式 AI 训练作业的恢复流程；

➁ 该服务利用应用日志、GPU 指标和调度器信号来检测崩溃、挂起和迟滞等异常；

➂ 系统协调一个四阶段的恢复循环，包括检测、归因、隔离以及重启或停止工作负载；

➃ 它通过独立于调度器内部结构的 API 与 Slurm 和 Kubernetes 集成；

➄ 新部署默认为监控模式，允许操作员在启用自主恢复前验证信号质量；

➅ 该工具提供审计追踪和仪表板，帮助操作员跟踪恢复决策和性能指标。