研究解析行为提示在机器人操作任务中的生效条件
该论文对行为提示(behavior prompting)何时、如何生效进行了实证研究,引入 DrawAnything 和 LIBERO-Gen 基准(最多 2000 个程序生成任务)、上下文视觉运动架构 Behavior Prompting Policy(BPP)以及手持演示接口 iPhUMI。
推荐理由:论文用消融实验指出任务多样性比单任务演示数更关键,做数据采集取舍的团队可参考这一结论。
技术方向
AI 走进物理世界的整体进展:整机和基础模型、真实环境部署、量产节点与产业格局的追踪。
684 条精选近 30 天 626 条共收录 1,390 条
该论文对行为提示(behavior prompting)何时、如何生效进行了实证研究,引入 DrawAnything 和 LIBERO-Gen 基准(最多 2000 个程序生成任务)、上下文视觉运动架构 Behavior Prompting Policy(BPP)以及手持演示接口 iPhUMI。
推荐理由:论文用消融实验指出任务多样性比单任务演示数更关键,做数据采集取舍的团队可参考这一结论。
FingerEye 是一个传感与学习框架,通过贯穿交互全程的视觉触觉反馈提升机器人灵巧操作能力。传感侧将双目 RGB 相机与柔性接触界面结合,接触前用指尖相机提供近距视觉线索与隐式立体信息,接触后用标记点追踪柔性环形件形变作为接触力旋量感知的代理;学习侧构建了真机与仿真数据基础设施,并提出 FingerEye Policy,采用分组结构的模态融合以减少模态捷径。
推荐理由:论文给出视觉触觉融合的具体设计与七项任务上的量化提升,可作为多模态灵巧操作方案的参考。
GenZ-LIO 提出一种可泛化的 LiDAR-Inertial 里程计(LIO)框架,通过尺度自适应体素化、混合度量状态更新与体素剪枝对应搜索,适应受限与开放空间之间的尺度变化。
SimToolReal 提出一种以物体为中心的 sim-to-real 强化学习策略,在仿真中程序化生成大量工具类物体原语并训练单一策略,实现测试时无需针对具体物体或任务的训练即可完成灵巧工具操作。
论文提出 QF3(Fast Flow RL with Filtered Q-Gradients),一种在线离策略 RL 算法,通过 flow matching 加上 critic 的动作梯度、经一步预测反向传播来训练流策略,且只将 critic 梯度施加于接近回放动作的那些动作维度。
推荐理由:论文给出相对 FPO++ 的 10x 训练加速和零样本上机结果,可评估该算法是否值得在人形运动控制任务中试用。
DepthWorld 提出一种结合学习式立体深度与联合因子图的标定流程,将 DROID 数据集标定为提供稠密度量深度和多视角外参的 DROID-3D,外部相机在 90% 的 episode 上重投影误差 <0.7 px。
推荐理由:论文解释了RGB-only世界模型几何不一致的成因,并给出可迁移的标定与深度监督思路。
论文提出 Micro Neural Policies(MNP)合成方法,结合 Evolution Strategy(ES)搜索与 Statistical Model Checking(SMC)验证,在不牺牲安全与鲁棒性的前提下大幅压缩神经网络规模。
推荐理由:论文给出策略内存占用与抖动等量化指标,便于评估微型神经策略在 MCU 上的部署可行性。
该论文提出一种事件驱动框架,通过事件监视器监控工作区状态变化并提取前后快照,由冻结的预训练 VLM 依据语义先验推断任务上下文、判断是否需要协助并生成动作序列,动作被限制在一组动作原语内以保证可执行可验证。在三个真实桌面协作任务上评估显示,该框架无需任务特定训练或微调,性能与获得用户指令的变体相当。
推荐理由:论文把主动协助建模为事件驱动推理,在三个真实桌面任务上验证了无需任务训练即可达到与指令驱动相当的性能。
论文提出紧凑操作策略 CoRP(48.9M 参数,不含视觉语言模型和视频生成先验),在 LIBERO 达到 97.0%,在 RoboTwin 2.0 Clean/Randomized 分别达到 75.78%/73.36%,匹配大 40.9-163.6 倍的系统。
推荐理由:论文用逐项消融拆解了视觉表征各因素对操作策略性能的贡献,便于评估模型规模与预训练先验的实际作用。
论文提出 iGPC 框架,将 Generative Pretrained Controller(GPC)从通用人体动作扩展到人形机器人与环境的全身交互。
推荐理由:论文把通用人体动作先验迁移到物体交互,给出特权专家到感知学生的蒸馏路径,可参考其方法设计。
SALT 用上一动作块未执行的 leftover 轨迹作为自监督信号,在测试时对 VLA 策略做适应,无需干扰标注、专家动作或目标域演示。在 LIBERO-10 上,SALT 将 SmolVLA 在五种持续视觉干扰下的平均成功率从 43.9% 提升到 53.2%,GR00T N1.7 从 58.7% 提升到 66.0%。真机实验中,任务进度从 0.49 提升到 0.61。
OpenWAM 提出一个开放的世界-动作建模(WAM)框架,以 Wan2.2-5B 为起点在超过 10,000 小时视频上做因果机器人视频预训练,并通过共享 Mixture-of-Transformers 架构接入动作专家,支持联合、先视频后动作、先动作后视频和解耦四种生成方式。
推荐理由:论文给出了各交互设计在同一测试床上的对比数字,便于评估反事实数据对动力学学习的增益。
SMART 提出面向关节物体操作的大规模合成演示预训练系统,其 SMART-Sim 仿真平台具备关节感知设计,可生成任务并高效采集演示,最终合成的 SMART-Data 覆盖 44 类原子任务、5 种机器人配置和 2,507 个关节物体,共超过 1M 条演示。基于该数据预训练的 VLA 模型在仿真基准上表现具备竞争力,并在真实世界的关节物体操作任务中实现零样本 sim-to-real 迁移。
推荐理由:论文给出合成演示数据的规模与零样本迁移结果,可评估合成预训练在关节物体操作上的可行性。
论文提出 GaugeBench,把固定机器人改写为物理等价的描述并评测同一策略权重,发现三个 MetaMorph 策略在 80 个熟悉机器人上得分 4030.6,等价重描述后仅 51.6,而 98 个真正未见机器人仍有 1489.6。
推荐理由:论文用等价改写描述的对照实验,量化了跨本体评测中被忽略的表示脆弱性,可迁移方法在于其隔离思路。
论文介绍 TouchScale,一个用统一可穿戴设备采集的 500 小时接触密集型人类交互数据集,包含约 2K 条预定义任务描述,将第一人称 RGB-D 视频、腕部 RGB 视频与全手双手触觉测量做时间对齐。
推荐理由:论文给出接触IoU与真机成功率两组对照数字,可评估视觉触觉数据规模对策略的实际收益。
VIS-Ground 将上下文锚定定义为把异构输入转化为可执行约束模型的过程,包含结构化上下文抽取、生成约束归纳和受约束视频生成三个环节,通过规划、校验、修订与渲染来落实约束。在三个视频生成骨干上,VIS-Ground 的综合得分均为最高,相比各骨干上最强基线平均绝对提升 10.3 分,叙事与知识两类锚定均有增益;作者同时指出依赖抽取和渲染忠实实现仍存在挑战。
推荐理由:论文把交互式视频生成中的上下文锚定形式化为约束模型,在三个视频生成骨干上平均提升 10.3 分,可参考其约束归纳与校验流程。
论文提出 Systematic Multi-Agent Vision-and-Language Navigation,将多智能体 VLN 形式化为带依赖与资源约束(presence locks 和 holding chains)的协同问题。
推荐理由:论文把多机器人视觉语言导航形式化为带约束的协同问题并给出基准,读者可据此了解该任务的建模方式与评测指标。
论文提出 Manipulation-Grounded Visual Question Answering(MG-VQA)设定,让智能体通过物理操作揭示被遮挡证据来回答杂乱桌面场景中的问题,并发布含 600 道人工核验问题、覆盖四项空间推理任务的 MG-VQA-Bench。
推荐理由:论文给出三级环境访问的成功率对比,可量化操作交互对 VLM 空间问答的实际增益。
Flash-WAM 提出模态感知的步蒸馏框架,针对动作流低噪声区间采用线性梯度缩放参数化、视频流高噪声区间采用保方差参数化,把世界动作模型推理压缩到每个模态单步。
推荐理由:论文给出了动作流与视频流噪声分布不对称的结构性分析,做世界动作模型实时推理的团队可据此选择一致性函数参数化。
一项研究系统评估了 Vanilla BC、LSTM-GMM、IBC、Diffusion Policy 与 VQ-BET 等模仿学习算法在白盒、灰盒和黑盒对抗扰动下的脆弱性。
推荐理由:论文给出白盒与黑盒迁移攻击下的成功率下降幅度,可作为评估模仿学习策略鲁棒性的对照基准。