EigenDEXplore:用人体先验结构化灵巧操作探索
EigenDEXplore 在独立关节空间噪声上叠加沿人体数据特征向量方向的扰动,以结构化探索而非改变动作表示的方式引入相关性,在多种灵巧手上于抓取、手内重定向和接触密集操作任务中持续优于关节空间与学习动作空间基线。实验表明人体运动先验用于结构化探索时最有效,收益覆盖无结构与参考引导 RL、轨迹优化及 sim-to-real 部署,在奖励整形与课程设计较少的设置中提升最大。
EigenDEXplore 在独立关节空间噪声上叠加沿人体数据特征向量方向的扰动,以结构化探索而非改变动作表示的方式引入相关性,在多种灵巧手上于抓取、手内重定向和接触密集操作任务中持续优于关节空间与学习动作空间基线。实验表明人体运动先验用于结构化探索时最有效,收益覆盖无结构与参考引导 RL、轨迹优化及 sim-to-real 部署,在奖励整形与课程设计较少的设置中提升最大。
SMART 提出面向关节物体操作的大规模合成演示预训练系统,其 SMART-Sim 仿真平台具备关节感知设计,可生成任务并高效采集演示,最终合成的 SMART-Data 覆盖 44 类原子任务、5 种机器人配置和 2,507 个关节物体,共超过 1M 条演示。基于该数据预训练的 VLA 模型在仿真基准上表现具备竞争力,并在真实世界的关节物体操作任务中实现零样本 sim-to-real 迁移。
推荐理由:论文给出合成演示数据的规模与零样本迁移结果,可评估合成预训练在关节物体操作上的可行性。
Silicon Language 提出机器人原生知识交换框架,让机器人把自己的经验编码为知识包发布,经接收端可用性评估、渐进融合与自动回滚后移植到自身传感器与执行器。
NeurIPS 2026 接收的论文提出 OntoPlan,一个基于本体场景表示的智能体框架,用于机器人任务规划。在覆盖 5 个室内环境、3 种场景规模的 150 项通用任务上,OntoPlan 平均任务成功率达 0.89,最强基线仅 0.27;平均每任务消耗 18.1k tokens,约为最高效基线的 1/5.6。场景规模增大时优势保持,且能对模糊或不可行指令追问或报告信息不足。
一项研究提出用受限控制器下的任务能力评估机器人形态,在 EvoGym 三项运动任务中,任务奖励仅能解释该指标 39%、33% 和 10% 的方差,几何描述符也无法预测它。
TacZero 用预训练的通用视觉-语言模型(VLM)解读视觉与触觉观测并直接选择机器人动作,无需额外的触觉或操作训练,也无需针对接触解读与动作选择的任务专用规则。在真实圆柱销插孔实验中,加入数值化三轴触觉输入时 20 次试验成功 15 次,不加触觉输入时仅成功 10 次。该研究为用通用 VLM 做接触密集型操作提供了具体起点,同时指出了这一方向的挑战。
一项面向软体机器人损伤恢复的无先验可复现基准发布,在九次在线试验协议下,GP-EI 参考控制器在两个各含 75 个本体的队列上以 0.235-0.310 的平均最差掩码奖励超越 random search、Sobol、CEM 和 CMA-ES,并在 69/75 个确认本体上取得增益。
论文提出一种从未分割点云中学习抓取目标的策略,用于液压林业起重机的原木清堆作业,策略在观测点上分类抓取位置并预测深度与抓斗姿态,同一网络支持行为克隆、强化学习和部署。
一篇 arXiv 论文提出在世界模型(WM)隐空间中建模隐空间扰动,通过动力学感知相似度度量与分布外检测构建合理隐动力学集合,并用 conformal prediction 校准不确定性集合,再以博弈论优化联合求解鲁棒机器人动作与最坏情况扰动。
论文提出 GaugeBench,把固定机器人改写为物理等价的描述并评测同一策略权重,发现三个 MetaMorph 策略在 80 个熟悉机器人上得分 4030.6,等价重描述后仅 51.6,而 98 个真正未见机器人仍有 1489.6。
推荐理由:论文用等价改写描述的对照实验,量化了跨本体评测中被忽略的表示脆弱性,可迁移方法在于其隔离思路。
BiGym 2.0 将 BiGym 适配到 Unitree G1,覆盖 20 项家庭任务,使用统一的全身控制器进行演示与评测,每项任务提供 60 条人类虚拟现实演示,含同步多相机视角和全身执行记录。
OpenSplatGraph 提出一个统一框架,直接从在线 Gaussian 开放词汇语义地图构建持久化 3D 场景图,通过可靠性感知语义场实现置信度感知、查询条件化的对象提取,并将对象实例关联到持久图节点以增量更新属性与关系。该框架在标准 3D 场景理解基准和真实机器人实验中取得有竞争力的在线开放词汇感知与下游任务性能,已被 ACCV 2026 接收。
论文提出即插即用的物理引导视觉提示(PG-VP)模块,通过在冻结的 VLA 模型输入上叠加随帧移动的虚拟障碍物,使导航策略绕开辐射与温度等不可见危险,无需重新训练。
CoRL 2026 收录的 TIGER 框架将动作分块模仿策略作为任务空间进度估计器,把预测动作块经控制器感知的动作-运动映射转为末端执行器参考,为 RL 智能体提供稠密进度奖励,同时保留稀疏环境奖励为主目标。
ReDex 提出一个框架,将仿真训练的基座策略适配到真实世界,通过纠正局部接触失败并引入触觉反馈来提升灵巧操作表现。在真实硬件上的两项接触密集任务中,相比仿真到真实迁移的基座策略,Object Flipping 成功率从 14% 提升到 86%(两个物体),Screwdriver Rotation 平均进度从 26.0% 提升到 95.3%(三个物体)。
MobileVISTA 是一个数据生成框架,把在标准位姿下采集的演示转化为带位姿扰动的训练数据,同时增强自我中心视觉观测并重定向动作以补偿基座位姿变化。
一种风险敏感人群导航框架采用自适应椭球共形预测(AECP)捕捉方向性预测误差,并将结构化不确定性转化为 CVaR 信号调节 Lagrangian 安全惩罚,策略用 Lagrangian proximal policy optimization 优化。
SURGE 提出一种相机-声呐融合框架,在因子图中联合估计 ROV 轨迹与目标位置,再用恢复的度量位姿进行声呐 Gaussian splatting 重建。在真实水下 RGB-声呐观测上的实验显示,SURGE 相比基于视觉的位姿估计方法显著提升定位一致性,并生成比 RGB Gaussian splatting 基线更紧凑、原生带度量尺度的重建结果。
arXiv 论文提出熵门控信念协调(Entropy-Gated Belief Coordination),在多智能体集体熵比超过阈值 θ 时跳过信念融合、仅在开发阶段合并。
RACER 提出面向轮式四足竞速的分层控制框架,将 MPPI 规划器、学习式残差动力学模型与底层 RL 速度跟踪器结合,用神经残差项刻画 RL 策略的闭环跟踪行为。
一项面向人形机器人的基准与闭环框架提出语义感知运动与执行感知导航,建模高程图中不明显的危险物与指令执行偏差,并在仿真中评估导航、在 Unitree G1 实体机器人上验证运动策略。结果显示语义输入减少了机器人与高程图难以表征的危险物的接触,抗偏差机制提升了导航成功率。研究指出人形机器人导航需同时评估路线完成度与危险规避。
AeroBuoy 获得 IROS 2025 安全、安保与救援机器人最佳论文奖,该系统由可无人机投放的3D打印自主浮标组成,借助 GPS 与磁力计沿河道自主航行,可测量水温并按需加装溶氧仪、声纳或浊度传感器,已在新西兰奥克兰 Ōrewa River 完成全系统演示。
arXiv 论文提出一个可信物理 AI 框架,将安全性(Safety)、行为可理解性(Behavioral Intelligibility)与感知对齐(Perceptual Alignment)整合到具身、控制、认知与设计四个层面。论文指出,机器人进入人类空间的速度快于我们建立其可信度标准的速度,可信度来自物理能力、可观察行为与用户交互预期的对齐。
ScanSTL 将关联时间聚合与并行扫描、有序块归约结合,用线性工作量与存储、对数并行深度计算精确时序算子的完整鲁棒性轨迹,并提供支持自动微分、批处理与编译的开源 JAX 实现。
SharedKV-BT 让行为树(BT)的每个活跃节点暴露阶段本地字段与候选,由 Shared-KV 并行打分并把选中决策交给独立执行系统,在机器人操作、移动导航和 computer-use 三类任务上,类型化决策速度比 prompt 匹配的自回归解码快 2.36-4.15 倍。
一项研究提出完全去中心化的框架,让机器人集群仅凭局部交互构建并动态维护通信网络,无需集中式拓扑规划或全局定位基础设施。形式化分析表明,局部重连操作可保证网络持续连通、每次分支转移严格缩短网络长度,最坏性能被限定在最短星形树之内。仿真与物理多机器人实验显示,该方法形成的网络长度接近集中计算的 Euclidean Steiner 树,并能动态适应移动目标、仅部署必要的连接节点。
arXiv 论文提出面向障碍物切换动态模式的 Safe-Horizon Model Predictive Control(SH-MPC)分布迁移方法,从有限模式观测构建未知类别模式律的置信集,并推导乘性支配界,将碰撞风险证书从选定的场景采样分布迁移到置信集内所有模式律。
四足机器人非抓取物体搬运框架通过不确定性感知轨迹优化与耦合凸模型预测控制器,将物体滑动相比固定朝向基线减少约50%、相比直线基线减少30%,并取得更低的机器人质心跟踪误差。该方法联合预测四足机器人与负载的质心动力学,再由全身QP施加地面反力约束,在物体惯性参数变化下经仿真与真实实验验证。
论文提出 RoboCap,一款 250g、配六相机与双 IMU 的头戴设备,用于野外第一视角机器人操作数据采集,并配套设备无关的 Grounded API 3D 算法套件。
AIM 框架将 real-to-sim 软体仿真建模为局部-全局交互问题,用运动历史与几何自适应调整粒子关系,并通过几何条件化的全局通信协调整体响应。在 PhysTwin 和 PGND 上的实验显示,其未来预测跟踪误差相对 PhysTwin 降低 20.0%,六类物体的长时程粒子平均误差相对 PGND 降低 22.8%。
TeleHairing 提出一套用于假人头机器人理发评估的闭环遥操作架构,支持本地、中继与远程三种部署条件。日志显示远程模式总时延达 190.5 ms,且时延增量主要出现在机器人侧控制端点之前;轨迹分析表明远程指令跟随误差主要来自末端回撤段,剔除该段后 RMSE 从 45.1 mm 降至 9.6 mm。检测丢失试验中 rebase 事件恢复运动时未出现大幅目标跳变。
该 Demo 提出用视觉语言模型(VLM)引导电磁数字孪生在线标定的框架,基于 Unitree G1 机器人与 NVIDIA Sionna,包含两次 VLM 调用:材料分类通过 ITU-R P.2040 将可见材料映射为 Sionna 梯度下降的电导率先验,航点规划依据 RSS 残差标定误差与图像覆盖在线选择下一测量位置。
研究提出 OCBench,一个采用可控脚本策略的机器人操作基准,通过模拟人类演示的关键特性,在受控环境中复现了行为克隆(BC)的诸多反直觉现象,如模型对数据集过拟合时性能反而持续提升、完全闭环策略在没有 action chunking 时彻底失效。借助 GPU 加速环境与脚本策略,OCBench 支持对已报道的 BC 相关现象进行科学研究,分析并驳斥了多种假设。
BRACE 是一个全身运动跟踪方法,能在斜坡地形上跟随平地参考轨迹的同时施加并补偿手部指令力。它通过地形贴合将落足点与根节点抬升至局部表面,并用 wrench 变换解算产生力的手部位移及其引发的质心与压力中心偏移。
LEAP 通过辅助解码器从视觉特征重建操作工作空间内的点云,并引入腕部视角 dropout 与部分重建目标,缓解本体感知捷径、主导视角依赖和任务无关几何主导重建这三类问题。
ProactiveVLA 在完成初始任务后,将剩余交互预算分配给智能体自提的目标,覆盖物体可供性、状态改变交互及其组合,并把任务导向与探索性经验统一整合进记忆以指导后续规划与控制。
ACG-WAM 提出 ACG-JEPA 辅助目标,从当前观测与中间动作预测多个时间跨度的几何特征,以冻结 VGGT 编码的未来槽位为监督目标。在 RoboTwin 2.0 的 50 项任务上,ACG-WAM 干净场景成功率 93.46%,随机化场景 92.68%,两场景均值 93.07%,均为对比方法中最高。
一项针对多楼层物体导航(ObjectNav)的诊断研究提出模块化分解框架,将全局策略拆分为楼层内探索策略与楼层间切换策略,其中楼层内策略通过蒸馏 Visual Language Models(VLMs)的探索逻辑学习。理论证明在理想假设下分解策略与单一全局策略在策略表示层面等价。实验表明感知性能与上下楼梯稳定性是多楼层导航的主要瓶颈。
ROMA 提出一个基于 LLM 的真实世界物体中心多感官主动感知系统,将视觉、音频、触觉与力觉整合进"推理-交互-反馈"闭环,主动识别缺失证据并选择目标物体、交互方式与传感模态。
SWAP 框架在机器人执行过程中动态组合多个 VLA 策略,将策略路由建模为离线强化学习问题,学习一个路由 critic 在每个决策步根据当前观测选择最合适的策略,而非整个回合固定使用单一策略。