RLHND:用视频基础模型从第一人称视频同时估计手部位姿与触觉
RLHND 提出一种基于视频基础模型的手部跟踪模型,从单目第一人称视频中联合估计手部位姿与真实触觉信息。它把预训练的 Cosmos 3 视频扩散主干通过 clean-latent 条件化改造成确定性的片段级特征提取器,位姿流预测解剖学上合理的关节角度并支持形状参数条件化,触觉流在位姿流冻结下预测手表面的密集接触与力。
推荐理由:论文说明了用视频基础模型补上接触与力线索的思路,关注人视频用于机器人策略训练的读者可了解其方法路径。
RLHND 提出一种基于视频基础模型的手部跟踪模型,从单目第一人称视频中联合估计手部位姿与真实触觉信息。它把预训练的 Cosmos 3 视频扩散主干通过 clean-latent 条件化改造成确定性的片段级特征提取器,位姿流预测解剖学上合理的关节角度并支持形状参数条件化,触觉流在位姿流冻结下预测手表面的密集接触与力。
推荐理由:论文说明了用视频基础模型补上接触与力线索的思路,关注人视频用于机器人策略训练的读者可了解其方法路径。
斯坦福大学助理教授吴佳俊在 IROS 2026 RoBoWoMo 研讨会发表受邀报告《Building Physical Agents via Structured Representations》,以洗盘子场景说明机器人需应对初始状态的定性差别与新观测。
推荐理由:演讲把结构化表征定位为可迁移的中间接口而非硬约束,对做机器人学习框架的人有方法论参考。
IROS 2026 上,银河通用 GaLbot 团队与清华大学、北京大学、上海启智研究院和上海人工智能实验室提出 LATENT,让 Unitree G1 从 5 名业余球员在 3米×5米区域采集的约 5 小时不完美动作数据中学习网球能力。
推荐理由:文中给出成功率、消融和真机限定条件,读者可据此判断该方法的真实能力边界。
文章对 IROS 2026 进入正式议程的 1933 篇论文做多标签梳理,Robot Learning / Embodied AI 约 809 篇、Navigation / Planning 564 篇、Humanoid / Legged 约 213 篦,指出大模型并没有吃掉机器人学,学习、感知、规划、控制与操作正深度交织。
推荐理由:对1933篇论文的多标签统计给出了各方向的篇数与交叉数据,可据此判断机器人研究的真实重心分布。
IROS 2026 主会于当地时间 9 月 30 日在美国匹兹堡落幕,最佳论文颁给 Yumin Lee、Hyoseok Ju 和 Giseop Kim 的《LT-Mem。
推荐理由:梳理了最佳论文与各专项奖的分布,可看出机器人研究正从展示单一能力转向在真实环境中持续工作。
论文提出 RobotWorld,一个面向机器人操作的仿真测试基准,包含 84 项任务,覆盖操作、移动操作、运动、驾驶与空中控制,设有明确的交互预算与可执行的成功判定。
Tetris3D 提出一种单图 3D 场景重建生成框架,显式以周围物体几何及其物理关系为条件生成每个物体,使形状与位姿在场景中保持几何与物理合理。研究同时发布基于物理仿真的数据集 ComOb,包含 1.2M 个场景,提供逐物体网格与成对物理关系标注。在合成与真实场景实验中,Tetris3D 在交互区域被遮挡时仍能恢复连贯的物体形状与位姿,生成质量与物理稳定性达到 state-of-the-art。
论文提出 Systematic Multi-Agent Vision-and-Language Navigation,将多智能体 VLN 首次系统形式化为带依赖与资源约束(presence locks 和 holding chains)的协同问题。
Faster-WAM 提出以视频世界模型为中心、动作专家仅单层的设计,通过 Dock of Transformers (DoT) 配合 Lite KV-Fusion 让轻量动作专家访问所有视频层表征,并采用仅基于世界模型的条件输入与 retracted 1D-RoPE 位置对齐。
论文提出 FAOC 框架,将强化学习与最优控制结合,通过基于优化的映射算法把 RL 智能体的抽象动作转换为最优控制问题中依赖状态的可行参数集,保证参数瞬时可行。配合不变终端集,FAOC 保证严格递归可行与安全运行,且抽象动作空间无需专家调参。在机器人乒乓球实时运动规划的仿真实验中,其样本效率与闭环性能优于现有基线,映射算法与运动规划 OCP 实现已开源。
论文提出 StressDream,通过优化扩散式视频世界模型的初始噪声,将想象引导至推理时以文本指定的高影响但合理的结果(如任务失败),从而实现稳健的策略评估与改进。
WBAG 提出一种面向视觉语言动作策略的推理时安全框架,建模机器人全身与抓取相关的附着物体几何,构造随抓取状态变化的安全集,并将其转化为可微的 CBF 约束,对 VLA 的六维操作空间动作做最小修改以避碰。
论文提出社交导航场景理解基准 SocialNav-SUB,一个用于评测 VLM 在真实社交导航场景下理解能力的 VQA 数据集与基准,涵盖空间、时空和社会推理任务,并在统一框架下与人类和规则基线对比。
研究提出 WSM-Aware HRI 框架,将人机交互故障统一为世界状态不匹配(WSM),借助 LLM 把隐含假设显式化并映射到少量不匹配类型,从而在意图形成阶段主动检测故障。系统在 10 个日常场景(涵盖视觉与潜在状态不匹配)上评测,可准确产出预期结果;消融实验表明,可靠识别依赖合适的表征与面向验证的细化。
CoRe-WAM 提出 TraceDelta 模块,用冻结跟踪模型的对应关系将历史视觉特征搬运到当前位置再计算带符号差值,仅优化 1.59 million 参数、5,000 次更新适配预算下,在 RoboTwin 2.0 的 50 项任务上 clean 成功率达 92.22%,较 Motus 提升 3.56 个百分点,随机化评测下 89.60%、提升 2.58 个百分点。
Visible Touch 论文提出把接触信号暴露在策略已关注的同一空间坐标系中,使任何图像条件策略无需架构改动即可直接利用触觉信息,并配套开源一款用现成零件经参数化 CAD-to-mold 流水线制造的低成本磁性接触传感器。
推荐理由:论文给出把接触信号嵌入策略已有视觉坐标系的做法与开源低成本传感器,读者可据此评估无需改动架构的触觉接入路径。
论文提出将鲁棒VLA适配视为失败边界学习问题,并给出方法DLS:基于少量真实演示与仿真协同训练构建真实落地的行为先验,通过on-policy数字孪生rollout大规模发现失败边界。
SAIN 提出一种零样本框架,将主动对话转化为持久导航状态,在 VL-LN IIGN 基准上把 SR 从 20.2 提升到 25.4、SPL 从 13.07 提升到 14.17,超过最强的对话式基线且无需任务特定策略训练。该预印本已由作者 YuHao Cao 撤稿,原因是团队内部对现阶段公开发布存在分歧。
ModPack 提出一套模块化可扩展的遥操作系统,核心是集成机载计算、供电、通信和存储的可穿戴背包,在其上支持即插即用的功能模块,包括带触觉反馈的关节级遥操作、移动操作和主动感知。
论文提出 VIA(Visual Interface Agent)框架,把机器人控制重新表述为智能体任务,让现成智能体通过由可交互视觉组件构成的虚拟工作区直接驱动机械臂,用鼠标式工具探测像素并指挥虚拟末端执行器设定目标位姿。
CoRL 2026 收录论文提出 Failure-Aware Retry(FAR)框架,让机器人在测试时从既往失败中学习并自主完成任务,避免朴素重试重复同样的错误。
论文提出 MultiSensory World Model(MuSe),通过多阶段融合、多感官未来预测和在预训练数据上的经验回放,把有限的多感官数据注入仅视觉的预训练策略,使其适应新任务并引入新模态,同时保持原有传感器配置下的性能。
SurGE 是一个腿足机器人协同设计框架,通过 Kino-SRB 模型与设计感知控制策略构成的可微管线计算设计目标的代理梯度,并以均值偏移加余弦退火步长衰减注入 CMA-ES。
ED3R 提出一种能量感知的分布式野火检测框架,通过机器人与远程控制器的分层协同决策,在满足置信度要求的同时最小化能耗。该框架集成避障、冗余探索规避与基于分布式神经回归模型的前瞻能力,任务成功率最高达 97.18%。在最严苛任务中,相比基线方法能耗降低最多 36.4%,野火检测速度提升最多 41%。
论文提出 SAPS,一个在动作层将实时人类遥操作指令与预训练 VLA 动作融合的轻量框架,无需重训策略、辅助动力学模型或架构改动。
论文提出针对机器人学习管线中世界模型的新型数据投毒攻击,可在看似安全的遥操作数据集中注入恶意提示或被破坏的转移动力学,仅在经世界模型输入后激活,进而生成危险的合成训练轨迹并导致不安全的机器人策略部署。作者在动作条件和文本条件世界模型上验证了攻击效果,展示了针对下游 DRL 策略的端到端后门以及 VLA 场景的概念验证,呼吁研究更安全的世界模型并重新评估其在机器人学习供应链中的位置。
WorldDP 提出一种面向多阶段机器人操作任务的分层世界模型框架,高层世界模型作为转移函数在运行时优化可行子目标,再由低层 Diffusion Policy 执行到达。框架引入以物体为中心的表征,将环境实体解耦以支持逐实体的顺序规划。在多个机器人基准测试上,WorldDP 持续优于现有基线,验证了世界模型的物理规划与 Diffusion Policy 高效执行相结合的多阶段性能优势。
论文指出多目标机器人任务的失败多源于静态目标表示而非任务复杂度,为此在 AICON 图结构上扩展自适应零空间投影:低优先级梯度在相遇处进入高优先级梯度的零空间,按当前梯度幅值排序而非固定层级;当两梯度对立且任何加权都无法前进时,系统在较强者的零空间中探索直至冲突消解。
论文提出 Dynamic Neural Koopman(DNK)蒸馏框架,把多步扩散推理压缩为以观测和采样噪声为条件的单次前向,并引入 Factorized Dynamic Koopman(FDK)层,用潜空间中的条件相关特征值线性算子建模去噪过程。
TAVIS 是面向主动视觉模仿学习的评测基础设施,包含 TAVIS-Head(5 个任务,通过 pan/tilt 颈部全局搜索)与 TAVIS-Hands(3 个任务,腕部相机局部遮挡)两套任务,基于 IsaacLab 构建,覆盖 GR1T2、Reachy2 两种人形躯干具身。
NovaPlan 是一个分层框架,通过系统性地提出、验证和修复视觉计划,实现鲁棒的零样本长时域操作。高层由 VLM 规划器分解任务,并通过验证多个候选视频回滚过滤动力学不一致的未来;执行中采用在物体中心流与人手流之间自适应切换的混合几何表示,并持续监控执行、在失败时合成指尖轻戳等局部非抓取纠正行为。
RoboPilot 提出一种双思考闭环 agentic 框架,用于动态真实环境中的机器人操作,通过反馈机制根据环境变化和执行错误进行重规划,并在快慢思考间动态切换以平衡效率与精度。
论文提出机器人策略框架 Agentic Scene Policies(ASP),通过 scene-agent 工具接口把物体定位能力与机器人技能统一到单一 agentic 动作空间,缓解模块化策略仅按语义检索、缺乏显式空间推理的局限。
论文提出 LYRA,一个人类引导的终身技能学习与代码生成框架,将人类反馈蒸馏为模块化可复用技能,并在外部记忆中存储技能与执行示例,借助检索增强生成和用户提示支持超长时程任务执行。
RoboFAC 提出一个面向 VLA 模型失败诊断与恢复的框架,构建了含 9,440 条错误操作轨迹、78,623 个 QA 对、覆盖 53 个仿真与真实场景的失败数据集,并训练出可本地部署的轻量多模态模型。实验显示其失败分析准确率比 GPT-4o 高 34.1%,作为外部监督器接入真实 VLA 控制流程后在四项任务上带来 29.1% 的相对提升,且延迟显著低于 GPT-4o;模型与数据集已公开。
论文提出 Ledger,一种从第一人称视频构建的持久 3D 物体记忆,结合物体位置、历史与上下文描述,可在物体离开视野后仍保留记录并回答空间问题。
论文提出基于 JEPA 的机器人世界模型 RoboJEPA,在覆盖 12 种机器人本体的大规模真实机器人数据集上训练,其想象误差(latent rollout 误差)随算力呈二阶幂律,可在拟合规模之外预测模型质量。
推荐理由:论文给出想象误差随算力的二阶幂律,为评估多本体世界模型规模提供了可迁移的预测方法。
论文提出 contextual object placement 基准任务,即在观察到的携物过程中预测物体的目的地,并发布配套数据集 ECHO。
论文提出 Q-learning with Scalar Adjoint Matching(SQAM),针对流策略经多步流生成动作、用离线 RL 微调时每步需向量-雅可比乘积且成本随流步数与策略规模增长的问题,观察到预训练流策略的批量平均速度雅可比集中在对角线上,据此推导出按流时间缩放最终动作价值梯度的闭式标量伴随,消除逐步向量-雅可比乘积,并在策略生成动作上加入价值惩罚。
研究提出"时间可解释性"概念,通过动作分块(action chunking)改进可微决策树(DDT)在序贯决策任务中的表现,并给出两种融入动作分块的策略梯度算法与一种信息论树重构算法。在四个仿真环境中,从蒸馏的动作分块策略热启动得到的 DDT 效果最佳:在四个领域中的三个上匹配神经网络策略的性能,参数量最多减少 80%。代码已开源。