双流记忆提升视觉-语言-动作策略的记忆依赖操作能力
论文提出面向视觉-语言-动作(VLA)策略的双流记忆机制,用任务无关的 Gated DeltaNet 将历史压缩为单个时间 token,同时用任务条件检索器按相关性阈值保留关键帧。
推荐理由:论文给出与 FrameSamp+Modul 基线的量化对比,可据此评估双流记忆对长程操作任务的实际收益。
内容形态
值得读的嵌入式与机器人论文:操作泛化、运动控制、端侧推理效率与新基准的精选。
872 条精选近 30 天 844 条共收录 1,780 条
论文提出面向视觉-语言-动作(VLA)策略的双流记忆机制,用任务无关的 Gated DeltaNet 将历史压缩为单个时间 token,同时用任务条件检索器按相关性阈值保留关键帧。
推荐理由:论文给出与 FrameSamp+Modul 基线的量化对比,可据此评估双流记忆对长程操作任务的实际收益。
论文提出 Action-Future Coupled Effect Learning(AFCE),让 VLA 策略以未来落地的物理 Effect 而非动作块作为主要预测目标。
推荐理由:论文给出 AFCE 在 DexJoCo 上相对 π0.5 和 UVT 的具体提升幅度,可评估 Effect 监督路线的实际收益。
PATACON 是一种 GPU 并行双向规划器,在切空间中探索以利用已知约束函数诱导的局部流形几何,缓解候选点偏离流形带来的投影开销。在双臂闭链与人形全身约束规划任务上的实验显示,随着位形空间维度和约束余维数增长,PATACON 优于已有工作,最高取得 11.25 倍加速,使约束全身运动规划更接近实时性能。
推荐理由:论文给出了在高约束高维问题上最高 11.25 倍的加速数据,可评估切空间探索路线的实际收益。
论文提出一种预测引导的分层控制框架,用于解决高海况下 UAV 在 USV 上自主降落的难题。该框架用预训练模型在高层降落决策中显式预测 USV 姿态,据此识别合适的降落窗口并选择落 touchdown 时机,低层常规飞控负责维持 UAV 稳定并跟踪运动指令。
推荐理由:论文针对高海况下 UAV 在 USV 上自主降落的难点,给出显式姿态预测辅助降落窗口选择的分层框架与 real-sim 验证方法。
Grounded-Dreamer 是一个用视频世界模型合成物理接地的机器人操作数据的框架,无需人类遥操作演示。它从少量真实任务初始状态图像出发,重建任务相关物体与相机几何并在仿真中对齐,采集物理有效轨迹来后训练视频世界模型和逆动力学模型,生成逼真操作视频及对应动作;生成轨迹会在重建的仿真中回放,仅保留成功完成任务的样本。真实任务实验表明该方法能合成物理接地的数据并显著促进策略学习。
推荐理由:论文用仿真物理引擎过滤视频世界模型生成的无效轨迹,为绕开人类遥操作采集操作数据提供了可行路径。
论文提出一种 GPU 加速、几乎无需预处理的无地图欧氏符号距离场(ESDF)查询方法,直接作用于带位姿的深度图像,分辨率由图像池化而非体素尺寸决定。在嵌入式 GPU 上,该方法在 2 cm 到 20 cm 各体素配置中同时取得更高精度和更低总延迟,匹配分辨率下内存少一到两个数量级。
推荐理由:论文给出了与体素网格方案的碰撞率和延迟对比数据,关注无人机避障的读者可据此评估无地图方法的实际收益。
Human2Dex 提出以腕部为中心的人类示教接口,把共享的人类观测与运动语义同具体机械手的执行分离,通过 21 点手部表示对齐观测,并用 Grasp-Pocket Interaction Representation(GPIR)表达被跟踪物体相对手心 Functional Grasp Pocket 的关系。
推荐理由:论文给出两台机械手的对照成功率,可评估人演示数据替代逐机采集的可行性。
论文研究两台 e-puck 机器人在 PyBullet 中寻找觅食区时通信何时涌现,以及先天动作选择架构的作用。每台机器人可发出带方向的 1 位信号,控制由带残差路径的 GRU 循环网络提供,可单独运行或作为 EASA 架构中的通道。
推荐理由:论文用可控变量实验分离了信息价值与先天架构对通信演化的影响,做进化机器人的研究者可借鉴其对照设计。
论文提出 Forward Dynamics Models(FDM),通过 action-to-future 范式将动作与未来状态预测耦合:未来预测以动作特征为条件,端到端训练让真实未来状态监督策略,而预测误差不会传入动作;推理时完全跳过未来生成以省去计算开销。
推荐理由:论文对比了 VLA 与 WAM 两类方法的推理代价与误差传播问题,读者可据此理解 action-to-future 范式的取舍。
论文提出 Residual Action Tokenization(ReAT),让每个 token 在重构当前动作中承担明确角色,用已解码的重构结果作为反馈,根据剩余动作误差构造下一个 token,使编码与解码形成闭环。
推荐理由:论文解释了残差式动作分词如何让每个 token 承担明确的纠错角色,读者可据此理解其与现有动作分词方法的机制差异。
论文提出 Belief-Overlap Partial Inversion(BOPI)框架,用于人形机器人推动质量与脚轮刚度初始未知的推车,将在线估计、基于流的规划与全身控制闭成一个回路。
推荐理由:论文把在线估计与规划重修的冲突量化为误差下降数据,关注人形机器人操作规划的研究者可据此评估该方法。
VICAR 是一条从第三人称人类视频学习人形机器人交互技能的流程,先从单目视频恢复人体运动并重建任务相关障碍物,再将运动重定向到人形机器人,同时保持全局接触位姿、运动速度和碰撞间隙。
推荐理由:论文把接触位姿与碰撞间隙写成高优先级拉格朗日惩罚项,为视频模仿中的接触保持重定向给出可迁移的具体建模方法。
论文提出 Resilient k-Connected Submodular Maximization,把任务性能、失效鲁棒性与通信连通性一并纳入多机器人协调,避免机器人损失后幸存团队因网络断开而无法继续协作。
推荐理由:论文指出机器人失效会切断通信网络,并给出把连通性约束纳入次模最大化的近似保证,可迁移至多机器人任务分配设计。
CeDR-Nav 是一个跨本体演示重铸框架,可在无需在线数据采集的情况下,从源机器人本体的既有演示为每个目标本体训练专用导航策略。它通过几何一致缩放与逐演示有效性评估将源演示转换为目标训练数据,并用目标本体专属的高斯混合策略生成避障动作。多机器人平台的仿真与真实部署显示,其跨本体仿真平均成功率较 DRL-DCLP 提升 13.8 个百分点,目标本体策略训练在数秒内完成。
推荐理由:论文给出跨本体演示重铸的具体做法与量化结果,关注跨平台导航复用的研究者可据此评估其可行性。
EgoReveal 是一个从第一人称人类示教中同时学习视角重定位与操作动作的框架,用于在物体被部分遮挡时移动视角获得目标可见性。它实例化为两个模仿策略:一个从当前视角与相机-机械臂位姿预测未来位姿序列,另一个从物体关键点与控制指令历史预测未来控制指令,并依据目标可见性在两者间切换。
推荐理由:论文指出基于第一人称示教的方法普遍未显式处理遮挡问题,读者可据此了解该方向的一个具体切入点。
论文提出一种自适应全身控制架构,用于人形机器人在未知负载下完成搬运任务,包含三个组件:生成动力学可行参考运动的质心 MPC、通过支撑腿关节补偿力矩抵消负载模型失配的自适应模糊平衡控制器,以及基于三重积分器模型、满足质心稳定性与关节限位约束的路点式最优姿态规划器。
推荐理由:论文拆解了未知负载下人形机器人平衡控制的三模块架构,做全身控制的读者可参考其补偿思路。
JoyInside-VLM-Agent 是一个 ReAct 式多模态智能体,通过产品条件化轨迹构建与分阶段策略学习训练,用于机器人平台和智能硬件。其训练流程包含监督微调、多教师 on-policy 蒸馏,以及名为 DPER 的强化学习方法,DPER 在冻结的特权教师与共享 rollout 策略参数的特权学生之间路由 token 级证据。
推荐理由:论文给出DPER训练方法与BFCL v4得分,可了解其在函数调用基准上相对基线的位置。
Evo-World 是一个轻量 VLA 模型,通过光流监督引入未来运动预测作为策略学习的补充信号,聚焦运动而非外观,并在训练中保持预测表征、调控表征多样性。在 Meta-World MT50 上其分层平均成功率达 91.1%,相对非预测基线提升 13.0%;在真实 AgileX 机器人的单臂与双臂操作任务中超过所评测基线,参数量仅 0.87B,GPU 显存占用更低、推理效率更高。
推荐理由:论文给出 Meta-World MT50 上 91.1% 成功率和 0.87B 参数量,可评估该轻量方案的实用价值。
该论文提出把视觉世界模型作为潜空间树搜索的传播器,用采样式运动规划替代CEM、MPPI等优化器,以绕过长时域任务中短视优化的停滞问题。作者提出最近邻引导RRT与基于投影的KPIECE两种潜空间探索策略,并采用GPU原生批量扩展提升设备利用率,使用现成的DINO-WM在四个仿真域和一个真实方块推动任务上评测。
推荐理由:论文指出CEM和MPPI在长时域任务上易停滞,并给出采样式规划在仿真与真机上的对比数据,便于评估该方法的适用场景。
LeapBot-JAC 提出在共享动作专家内分配稀疏未来控制参考链与稠密执行链,两条链在对齐的物理时间位置上联合去噪,通过定向注意力让执行 token 读取参考 token,不增加动作 token 和参数。
推荐理由:论文给出固定动作 token 预算下的角色组织方案及 LIBERO 上的具体成功率对比,便于评估其迁移价值。