VLM 引导的电磁数字孪生在线标定 Demo:Unitree G1 实测 20 m 内电导率误差 1.74×10⁻⁴
该 Demo 提出用视觉语言模型(VLM)引导电磁数字孪生在线标定的框架,基于 Unitree G1 机器人与 NVIDIA Sionna,包含两次 VLM 调用:材料分类通过 ITU-R P.2040 将可见材料映射为 Sionna 梯度下降的电导率先验,航点规划依据 RSS 残差标定误差与图像覆盖在线选择下一测量位置。
该 Demo 提出用视觉语言模型(VLM)引导电磁数字孪生在线标定的框架,基于 Unitree G1 机器人与 NVIDIA Sionna,包含两次 VLM 调用:材料分类通过 ITU-R P.2040 将可见材料映射为 Sionna 梯度下降的电导率先验,航点规划依据 RSS 残差标定误差与图像覆盖在线选择下一测量位置。
PredActor 是一种预测式动作扩散策略,仅依赖本体感知历史即可联合预测动作与内部未来状态轨迹,通过 classifier-free guidance 强化文本条件动作、classifier guidance 将未来状态引向测试时目标,无需动作参考跟踪器或特权全身状态。
研究在统一 VLM-hidden + diffusion-policy 范式下比较 InternVL3、Qwen3VL 与 ResNet、ViT、EVA-CLIP,发现策略学习扩大共享决策子空间但两分支保留不可迁移残差,纯视觉编码器在几何主导场景更强,VLM 在语义复杂长尾场景更有效。
研究者在 NVIDIA Jetson AGX Orin 上提出一套实时、失效模式感知的多模态可通行性建图流程,以 LiDAR 几何为主、单目语义为按类别与置信度门控的修正信号,纠正湿泥、积水混凝土与减速带等互补失效模式。
研究者在 NVIDIA Isaac Sim 中为六自由度 BlueROV2-Heavy 管道跟踪 ROV 建立统一动力学框架,用同一 USD 场景向向量化 NumPy 的 Fossen 方程与 PhysX 力施加提供一致的质量、附加质量、阻尼、浮力与推力器参数。
Skild AI 宣布通过物理自我对弈完成一项后训练突破,其机器人基础模型 S1 在与自身对弈的仿真中学会了踢足球等高度灵巧和动态的任务。模型只被给出进球这一个目标,在 NVIDIA Isaac Sim 中与近期版本的自己对抗,逐步自行学会带球过人、护球和铲球,这些行为因有助于进球而涌现,未手工设计奖励。
推荐理由:原文给出仿真时长、涌现行为和 sim-to-real 迁移结果,可据此评估自我对弈后训练路线在具身智能上的可行性。