➀ NVIDIA Cosmos 是一个面向物理 AI 的世界基础模型和开发工具平台,旨在解决传感器适应和可靠部署的挑战。

➁ Cosmos 框架提供模块化、开源的训练、强化学习、优化和推理解决方案,支持 Cosmos 3、GR00T 和 Qwen 等模型。

➂ Cosmos NIM 微服务提供 GPU 加速推理功能,如量化和推测解码,在 H200 GPU 上可实现约 2-3 倍的速度提升。

➃ Cosmos 3 Nano 模拟配方可为自动驾驶、机器人和手术场景生成同步的摄像头视频和 LiDAR 观测数据。

➄ 平台支持多种强化学习路径(DPO、GRPO、PPO)和模型优化技术,如蒸馏和量化。

➅ 提供了针对自动驾驶(Transfer-Auto、Sim-Auto)、机器人(Sim-Transfer、Sim-Bimanual)和手术模拟(H-Embodied-Nano、H-Dreams)的具体工作流程。

➆ GPU 内存要求因模型和任务而异;例如,Cosmos3-Nano 生成在 BF16 下需要 58 GiB,在 FP8 下需要 44 GiB。