FOMO-Dex:面向接触密集操作的力调制灵巧操作统一柔顺方法
论文提出 Force-Modulated Dexterity(FOMO-Dex),一种面向接触密集操作的统一柔顺表达,将标称动作表示在由任务几何与接触结构定义的坐标系中,沿选定方向施加力驱动的运动修正,其余指令分量保持不变。
推荐理由:论文把力修正与运动指令统一成一套柔顺表达,做遥操作数据采集的工程师可参考其按接触结构分解指令的思路。
技术方向
灵巧手与操作能力:多指灵巧手硬件、触觉传感、抓取与长程操作任务的进展。
147 条精选近 30 天 138 条共收录 242 条
论文提出 Force-Modulated Dexterity(FOMO-Dex),一种面向接触密集操作的统一柔顺表达,将标称动作表示在由任务几何与接触结构定义的坐标系中,沿选定方向施加力驱动的运动修正,其余指令分量保持不变。
推荐理由:论文把力修正与运动指令统一成一套柔顺表达,做遥操作数据采集的工程师可参考其按接触结构分解指令的思路。
论文提出 MOSAIC,一个面向机器人扩散模型的无梯度推理时控制框架,将初始噪声与随机反向步扰动作为联合输入,用完全去噪输出计算的重要性权重来调整分布,并通过自适应惩罚平衡物理可行性与学习支撑的一致性,按模式的重要性加权更新以保留模式、避免破坏性平均。
推荐理由:论文指出既有推理时引导方法会破坏先验或坍缩模式,MOSAIC 用无梯度方案在四个任务上验证了不重训的约束适配。
UniLAP 提出一种统一的连续隐动作策略,通过流匹配建模隐空间,推理时无需依赖未来帧。它以流自适应目标蒸馏 LAM 教师模型,继承其动作表示并保留可行行为的多模态分布,同时提取无标签运动目标以隔离与任务无关的外观干扰。该模型以 1.1B 参数规模在多源视频上预训练,在手部姿态预测、单臂与人形操作及真实世界部署上超越现有隐动作与 VLA 基线。
推荐理由:论文解释了离散隐动作的粒度瓶颈及其成因,便于评估连续隐动作方案的适用场景。
DeTac 提出双分支生成框架,从单张混合触觉图像中同时提取干净的明暗图像与标记图像,用于解耦视触觉传感器中的表面纹理和接触力信号。该方法用全图合成绕开掩码依赖,并通过跨分支协同优化实现相互监督以避免误差保留;作者还用自制硬件构建了严格对齐的真实配对触觉数据集。
推荐理由:论文点明了串行掩码方案的掩码尺寸困境与误差保留问题,可作为触觉信号解耦路线的对照参考。
PINT 是一个机器人操作统一模型,通过 chunk 级共享 Predictive Intent 协调语义推理、世界建模与动作生成,同时保留各专家专属通路:在 VLM 序列中插入可学习的 Intent Tokens 来形成该表征。
推荐理由:论文给出与 Fast-WAM、StarVLA、Motus、π0.5 的对照数据,便于评估该方法在分布外泛化上的相对提升。
论文提出 ListenVLA,一个基于 GR00T N1.7 构建的音频条件 VLA 策略,用于声音引导的机器人操作。它将语义音频嵌入与波形声学线索结合,在因果音频历史之上通过音频 token 和特征调制来调节连续动作生成,并引入音频-动作绑定目标,用上下文匹配的示范把听觉差异关联到示范动作差异。
推荐理由:论文指出部分操作任务依赖视觉无法推断的听觉线索,并给出音频绑定监督这一可迁移的训练思路。
PACE(Phase-Aware Contact-Event Conditioning)是一种面向分块插入策略的时间-角色触觉条件框架,把共享触觉流拆成三种时间角色:持续接触状态用于条件化动作块生成,突发接触事件用于修正生成的块,接触后果预测在训练时塑造动作表征。
推荐理由:论文给出三种触觉时间角色的分工设计与消融结果,可为接触密集任务的策略结构提供参考。
ReTrace 提出一种机器人操作自改进框架,通过自主物理交互与回溯推理,将下游失败追溯到早期决策并提出针对性修正,无需演示数据也不更新模型参数。
推荐理由:论文给出两项跨阶段任务从0%提升到80%和100%的具体数字,可评估该自改进框架的实际效果。
Hand2Robot 是一个以物体为中心的 4D 手部重建框架,用于机器人策略后训练:从人手执行目标任务的视频中提取交互片段、重建物体几何,并通过手物交互优化与动作重定向生成机器人动作监督。
推荐理由:论文解释了仅重建手部动作不足以保证手物交互物理一致,并给出以物体为中心的优化路径,可迁移至同类数据合成方案。
SurgiCLAW 提出一种分层技能框架,将 MLLM 限定于术中视觉理解、结构化解释与原子手术技能选择,把物理执行交给可验证的确定性控制程序。在脑机接口植入任务上,模型先经监督微调学习技能调用,再用动作正确性、操作前置条件、格式有效性三项奖励优化;固定测试集上技能选择准确率 94.6%、Macro-F1 93.0%,50 次闭环真机植入试验任务成功率 88.0%。
推荐理由:论文给出技能选择准确率与真机成功率两项指标,可评估分层方案在精密手术场景的可用程度。
CoLA 冻结各智能体的 VLA 主干,仅在其上训练轻量消息通道与逐臂扩散动作头,实现完全去中心化执行。
推荐理由:论文用对照实验量化了多机器人协作中显式通信何时必要,可为多臂任务的信息共享设计提供依据。
RM-WAM 提出一种可靠的记忆增强世界动作模型(Reliable Memory-Augmented World Action Model),用于改善长时程机器人操作中仅依赖当前观测导致的可靠性问题。
推荐理由:论文指出直接引入历史观测会带来过期或错配信息,并给出反事实记忆学习与门控机制的应对思路。
论文提出名为 DualExpert 的异构双专家架构,仅用内置关节角与预校准执行器负载反馈识别被抓物体并为每根手指预测独立 Stop 事件,TCN 建模短期接触演化并输出全部五个 Stop 概率,FGFN 编码手指拓扑仅参与物体分类。
推荐理由:论文给出双专家架构的融合权重与端侧延迟数据,可评估其在无密集触觉阵列方案上的取舍。
论文提出视觉运动策略 Contextual Masked Action Policy(CMAP),通过历史条件化的局部动作重生成来细化连续动作块,避免在错误局部化时整段重生成覆盖本已正确的预测。
推荐理由:论文指出整段重生成会覆盖本已正确的动作片段,局部重生成的思路可供模仿学习策略设计参考。
论文研究从单一初始手物状态生成完整抓取运动这一欠约束问题,框架将手部运动生成与物体运动恢复解耦:以初始腕部坐标系下的物体点云和参数化手型为条件,用 conditional flow matching 预测序列级接触图与各归一化时刻的手部位姿,再通过免训练、接触引导的加权配准恢复刚体物体运动。
推荐理由:论文把抓取生成拆成手部运动与物体运动两步,并给出与 LatentHOI 的量化对比,便于评估该路线的取舍。
论文研究基于 latent 表征的电机适应方法(RMA)能否从单臂扩展到协调双臂操作,在三个接触密集的 ManiSkill 任务上用随机化 YCB 物体属性评估双臂 RMA。
推荐理由:论文给出了双臂 RMA 在抓取提升任务上保持特权策略性能、长程堆叠仍受限的对照结果,可作为评估 latent 条件化方法适用边界的参考。
论文提出 Causal Action-Gain World Action Model(CAG-WAM),针对世界动作模型中候选动作的未来预测混杂了动作引发变化与环境自身演化的问题,构建结构因果模型并识别出环境演化影响未来评估的后门路径。
推荐理由:论文用结构因果模型拆分动作引发与环境自身演化对未来评估的影响,为世界动作模型的评估提供了可迁移的因果分析思路。
论文提出 PRISM(Precision-aware Reweighting and Internalization for Skilled Manipulation),针对 VLM 加扩散或流匹配动作专家的 VLA 范式在亚毫米级插接等精密任务上不可靠的问题,将其归因于跨上下文与流时间平均误差的训练目标导致的 Flow-Time Starvation。
推荐理由:论文把VLA在精密任务上失败归因于流匹配监督失衡,并给出可迁移的重加权思路。
DEXCAST 是一个框架,可直接从单目 RGB-D 视频学习机器人灵巧手控制,借助手-物交互(HOI)联合重建,无需任何遥操作演示。论文提出 DexHand Motion Perception Module(DMPM),以紧凑潜在表示捕捉关节间协调与时序依赖,用于条件化扩散策略。
推荐理由:论文指出灵巧模仿学习依赖人工遥操作演示的成本问题,给出从单目 RGB-D 视频直接学习的替代路径。
OATH 将物理重定向建模为残差学习问题,在观测空间中加入局部接触误差信号引导每个机器人连杆指向物体表面目标坐标,使单一残差策略能零样本抓取未见过的物体几何。
推荐理由:论文给出观测空间设计与具体速度、成功率数字,可评估该方法相对采样优化的实用价值。