四足机器人在负载交互下的柔顺运动:Feeling Through the Load
arXiv 论文提出一种力感知四足运动框架,将未固定负载上的人为交互视为指令,通过柔顺负载策略与因果力估计器结合,仅凭机器人机载测量推断外部作用力。该方法经 estimator-in-the-loop 数据聚合与微调训练,仿真和真机实验表明控制器能保持稳定负载运动、柔顺响应外部交互,并据推断力支持人类引导的轨迹改变。
arXiv 论文提出一种力感知四足运动框架,将未固定负载上的人为交互视为指令,通过柔顺负载策略与因果力估计器结合,仅凭机器人机载测量推断外部作用力。该方法经 estimator-in-the-loop 数据聚合与微调训练,仿真和真机实验表明控制器能保持稳定负载运动、柔顺响应外部交互,并据推断力支持人类引导的轨迹改变。
CropSentry 提出一种低成本地面多机器人系统,由两台自主机器人逐行检测叶片颜色与环境数据,经空间映射汇总至主机器人并生成实时 Web 仪表盘。实验共采集 63 次观测,作物健康分类总体准确率 84.12%,其中健康植株 82.60%、缺素植株 88%、病害植株 80%,10 次从机观测无线通信成功率达 100%。
论文提出 Coordinated Multi-Agent Diffusion Steering(CMDS)框架,将冻结的预训练扩散模型作为可复用生成原语,通过学习到的控制协调其逆向过程,把协调问题建模为随机最优控制问题,平衡组合输出的装配级奖励与对预训练动力学的偏离。
论文提出 Loss-Conditioned Activation-Moment(LCAM)剪枝方法,一种面向预训练机器人操作策略的免训练非结构化剪枝方案,通过自递归由粗到细流程在剪枝后无需恢复训练与仿真 rollout。
论文提出 Micro Neural Policies(MNP)合成方法,结合 Evolution Strategy(ES)搜索与 Statistical Model Checking(SMC)验证,在不牺牲安全与鲁棒性的前提下大幅压缩神经网络规模。
推荐理由:论文给出策略内存占用与抖动等量化指标,便于评估微型神经策略在 MCU 上的部署可行性。
WareFly-VLA 发布了一套面向智能仓库的无人机 VLA 框架与数据集,包含 507 段人工遥操作飞行片段和 8,504 帧高分辨率 RGB 数据,均采集自 NVIDIA Isaac Sim,并配有目标工人的外观描述与四自由度同步控制指令。
ActTune 提出动作感知框架,将逐层精度分配与 GPU 频率-功耗上限工作点选择结合,在 LIBERO 基准上将平均任务成功率较现有最优方法提升至多 2.3%。相比原始 BF16 实现,其推理速度最高提升 2.02 倍,配合 GPU 工作点自适应,每成功任务能耗最多降低 76.8%,同时将推理时延增幅控制在 10% 以内。
一篇 arXiv 论文提出基于密度函数的分层模型预测控制(MPC)框架,让多台四足机器人仅凭初始与目标位姿协同推动共享物体,无需预计算参考轨迹。集中式 box-level MPC 优化接触力并施加控制密度约束以实现目标收敛与避障,各机器人再解算分布式 robot-level 全身 MPC 跟踪移动接触点。
MIM-VLA 用夹爪电流、位置、速度和信号有效性编码为 128 维交互 token,预训练后仅调节 SmolVLA 的夹爪动作通路,手臂动作与位置控制接口保持不变。在三个真实场景、13 对物体的测试中,MIM-VLA 选择高阻力物体的比例为 75.0%,SmolVLA 基线为 48.8%;该方法仅使用夹爪已有电机反馈,无需额外触觉阵列、力矩传感器、标定力估计或直接电流控制。
一种抓取后运动学修复方法通过重定向夹爪内物体来恢复机器人插入的运动学可行性,在 UR5e 仿真中,不带学习排序的规划器相比基于网格的顺序 IK 将成功试验的平均重定向量降低 51.5%,加入学习排序后规划时间再降低 51.1%。该方法用分支感知 IK 图评估候选重定向,并通过基于触觉的外在操作执行选定的重定向,真实机器人实验验证了完整流程。
针对轮式移动底盘人形机器人(含移动底盘、升降柱与双臂)难以直接套用腿部人形重定向方法的问题,研究提出一种任务条件化框架,将重建的人体动作分配给底盘、升降与手臂职责后再做机器人侧实现。部署适配器以 50 Hz 输出指令,采用静止底盘检测、死区与斜率滤波、时间一致回放缩放以及线性与角速度独立增益。评测涵盖人体导出的任务空间对比、无策略仿真回放与真机定性执行。
SufficientPlan 提出 Paired Sequential Budget Certification(PSBC)与 Static-Context Reuse(SCR)两个组件,在不修改预训练世界模型和规划器的前提下,为每个模型—任务对搜索并认证一个更小的规划预算,同时跨搜索迭代缓存观测与目标表征。
一项机器人研究提出事件驱动的主动辅助框架,通过事件监视器捕捉人-物交互的状态转移,用冻结的预训练 Vision-Language Model(VLM)推断任务上下文并生成辅助动作序列。该框架在三个真实桌面协作任务上无需任务特定训练或微调,性能与提供用户指令的变体相当。
论文提出 SC3BF(平移碰撞锥控制障碍函数),在速度空间 CBF 的碰撞锥条件中加入随距离和自身速度增长的状态相关容许量,允许机器人以受控速率接近障碍物。SC3BF 通过普通二次规划实现,其安全集在有界输入下前向不变,无需最小前进速度或安全间距裕度;作者证明非零容许量恒存在并给出闭式解。
一篇 arXiv 论文提出在无显式机器人间通信的 leader-follower 协同搬运场景中,leader 通过测量 follower 对刚性负载施加的聚合力矩(力与力矩)来定位障碍物。
Humanoid Horizon 提出统一策略框架,用 Parallel Training、Dynamic Starting 与 Reward Gating 三项机制解决长时域全身 loco-manipulation 中的 easy-reward bias 与 catastrophic forgetting 问题。
一项机器人导航研究提出几何观测规范化方法,将任意深度传感器的测量反投影到统一的机器人中心坐标系,拼接为球形距离图像与二值有效性掩码,使导航策略零样本泛化到未见过的传感器布局,最高支持 7 个相机,成功率随空间感知覆盖提升从 78% 升至 95%。该策略经强化学习与激进相机随机化训练,在四旋翼真机的障碍走廊与户外森林飞行试验中验证了跨相机配置的零样本迁移能力,以及对在线传感器突然失效的抗性。
HexaGripper 是一种单执行器、绞车部署的六板式抓取机构,用于无人机自主收集长方体包裹,无需着陆或地面基础设施。静态抓取实验在三种包裹几何形状上达到 100% 成功率(15/15 次),工作空间实验在径向偏移最高 150 mm 的全部 28 个测试位置均成功抓取。户外端到端空中收集成功率为 80%(4/5 次)。
Crazyflow 是基于 JAX 构建的可微分空中机器人仿真器,通过 XLA 的 jit 编译将物理与控制统一进单一可微分计算图,在加速硬件上实现大规模并行,较现有基线取得数量级加速,可在数秒内训练出可部署的强化学习智能体。
VOMMI 是一个便携演示采集与学习框架,通过离线轨迹重建和在线视觉运动条件化,把 RGB 演示接入视觉语言动作(VLA)后训练,无需人机运动学对应标定。实验每个任务采集 500 条便携轨迹,其中 75 条留作 RGB-VO 评估,另用 200 条机器人演示作参照;仅用便携演示后训练的策略基座速度误差比用机器人演示训练的低 18.2%,末端执行器平移精度相当。
论文提出紧凑操作策略 CoRP(48.9M 参数,不含视觉语言模型和视频生成先验),在 LIBERO 达到 97.0%,在 RoboTwin 2.0 Clean/Randomized 分别达到 75.78%/73.36%,匹配大 40.9-163.6 倍的系统。
推荐理由:论文用逐项消融拆解了视觉表征各因素对操作策略性能的贡献,便于评估模型规模与预训练先验的实际作用。
ViDAL 提出一种以未来场景视觉动态为锚的连续动作隐空间,通过训练 Action VAE 重建动作块并将隐变量与未来场景动态对齐,可作为即插即用的动作接口兼容多种 VLA 架构。
VLA-ACL 通过动作级监督学习轻量视觉 token 剪枝策略,在完全冻结基座 VLA 模型的前提下,最多剪枝 87.5% 的视觉 token,计算量最多降低 75%,推理加速 1.5x。LIBERO 与真实操作任务实验显示其保持了有竞争力的性能,优于现有冻结 VLA 剪枝方法的性能-效率权衡。代码已开源。
iGPC 将 Generative Pretrained Controller(GPC)从通用人体运动扩展到类人机器人与环境的全身交互,通过场景可供性线索与特权状态信息训练交互专家,再由机载传感器观测的学生策略蒸馏接触、抓握与推动技能。实验在多个全身交互任务上验证,大规模生成式人体运动先验可作为类人机器人在接触密集真实环境中学习可部署策略的有效基础。
论文提出 AutodidactWAM,用无需遥操作训练的手部姿态估计加逆运动学从模型生成视频中恢复动作估计,与原生动作配对后仅微调动作相关层。
针对受限、遮挡环境下的机械臂探索问题,arXiv 论文提出一种基于 Virtual Model Control 的主动探索方法,通过眼在手上相机与评分方法直接从未探索空间选取目标体素,实现全身反应式避障而无需路径重规划。仿真与真机实验显示,该方法在所有测试环境中均实现超过 90% 的建图覆盖率,耗时低于 120 秒且未与障碍物碰撞。
研究提出基于 Habitat Sionna RT 基准的不确定性感知多模态导航框架,从 RF、视觉与位姿观测历史中联合估计目标方向及其不确定性,在未见场景中相对最强基线将成功率(SR)提升 18.2%、按路径长度加权的成功率(SPL)提升 11.5%。该基准利用场景几何与材质属性生成对齐的视觉和 RF 观测,用于智能工厂巡检中无先验地图、目标被遮挡或光照不佳时的导航研究。
GENESIS-Handover 利用 VLM 图像生成产生多种任务特定的手-物交互假设,并实时与观测到的人类手部姿态匹配,以推断最合适的递物配置。在 12 名参与者、5 组任务-物体配对的用户研究中,83.3% 的参与者认为该方法比先前的 state of the art 具有更好的任务理解能力。
IronMan 提出基于信息瓶颈原则的视频-动作学习框架,通过动力学感知瓶颈抑制无关视觉信息、保留动作相关动态线索。在 LIBERO 上达到 99.0% 成功率、RoboTwin clean2clean 上达到 79.4%,均超过所有评测基线。在 OOD 偏移下,LIBERO-Plus 成功率 79.1%,比最强基线高 10.4 个百分点。
论文提出 CA³C(Consequence-Aware Adaptive Action Chunking),一种推理时框架,在不修改或重训练基础策略的前提下,用动作条件世界模型在相同采样噪声下想象多个候选动作块的未来后果,将执行时长估计建模为贝叶斯变点推断问题,并通过未来共识选择执行候选。在多个仿真基准与真实机器人操作任务上,CA³C 使各类动作分块策略的失败率相对降低最高达 71.8%。
SALT 用上一动作块未执行的 leftover 轨迹作为自监督信号,在测试时对 VLA 策略做适应,无需干扰标注、专家动作或目标域演示。在 LIBERO-10 上,SALT 将 SmolVLA 在五种持续视觉干扰下的平均成功率从 43.9% 提升到 53.2%,GR00T N1.7 从 58.7% 提升到 66.0%。真机实验中,任务进度从 0.49 提升到 0.61。
OpenWAM 提出一个开放的世界-动作建模(WAM)框架,以 Wan2.2-5B 为起点在超过 10,000 小时视频上做因果机器人视频预训练,并通过共享 Mixture-of-Transformers 架构接入动作专家,支持联合、先视频后动作、先动作后视频和解耦四种生成方式。
推荐理由:论文给出了各交互设计在同一测试床上的对比数字,便于评估反事实数据对动力学学习的增益。
PACE 通过将完整演示压缩为有序多模态 prompt token,并用 episode-local fast-weight memory 因果编码已实现的动作-观察转移,缓解长时程操作中的阶段混淆。
CUSP 提出一种模型无关的运行时危险告警方法,从人工干预终止的日志中学习"感知起点"——即人类判断安全驾驶开始转为危险的时刻,用离散时间生存目标训练视觉危险头,再由 CUSUM 累积风险触发告警。
arXiv 论文提出 Model-Based Geometry-Aware Generative Optimization(2GO),面向四足与人形机器人的 Constrained Locomotion Planning,通过法向诱导度量塑形、切空间随机滤波与 CFS 回缩把主动约束几何转为可执行去噪算子,并以自适应扩散与流式调度解耦生成传输与反向随机性。
StairVLA 提出阶段感知分层动作生成框架,用部分去噪动作作为粗粒度长时程生成与局部精修的接口,高层 VLA 负责早期去噪,轻量 refiner 以更高频率用最新观测精修局部动作块。
CoRE 从多任务、多机器人演示中学习协作-角色专家,让每台机器人仅凭自身视觉观测与本体感觉运行同一策略,无需任务提示、身份标签或机器人间消息,即可在去中心化协作操作中产生互补行为。在仿真基准上,CoRE 取得所评测去中心化方法中的最高平均性能;物理实验验证了其在多种操作任务上的有效协作,以及对协作方延迟与减速的鲁棒性。
一项面向精密装配的研究提出特权噪声蒸馏方法,在 FORGE benchmark 上将 σ=5 mm 位姿噪声下的成功率从基准策略的 32%–60% 提升至 92%–99%,六个非特权基线仅 2%–80%。
ESP(Energy-Score Policy)提出一种免蒸馏方法,用单次网络评估将策略上下文与噪声直接映射为动作块,动作头以 energy score 而非均方误差训练,实现对多模态动作分布的直接学习。仿真与真实操作任务实验显示,其任务成功率与 flow matching 基线相当,而动作生成时延大幅降低。
ExoBridge 框架通过人体肢体耦合,从裸手视频学习映射到穿戴式外骨骼的运动与触觉状态:采集时一只手保持裸露提供视觉观测,另一只手穿戴外骨骼提供同步的运动与触觉测量。