RoboJEPA:面向多本体机器人世界模型的扩展律研究
论文提出基于 JEPA 的机器人世界模型 RoboJEPA,在覆盖 12 种机器人本体的大规模真实机器人数据集上训练,其想象误差(latent rollout 误差)随算力呈二阶幂律,可在拟合规模之外预测模型质量。
推荐理由:论文给出想象误差随算力的二阶幂律,为评估多本体世界模型规模提供了可迁移的预测方法。
内容形态
值得读的嵌入式与机器人论文:操作泛化、运动控制、端侧推理效率与新基准的精选。
872 条精选近 30 天 844 条共收录 1,780 条
论文提出基于 JEPA 的机器人世界模型 RoboJEPA,在覆盖 12 种机器人本体的大规模真实机器人数据集上训练,其想象误差(latent rollout 误差)随算力呈二阶幂律,可在拟合规模之外预测模型质量。
推荐理由:论文给出想象误差随算力的二阶幂律,为评估多本体世界模型规模提供了可迁移的预测方法。
论文提出 Video Prediction Policy 2(VPP2),一种世界动作模型(WAM),通过大规模操作视频继续预训练基础视频模型、蒸馏为单步视觉规划器,并以 mixture-of-transformers(MoT)架构引入动作模块学习隐式逆动力学模型。
推荐理由:论文给出三项基准上的具体提升幅度,可据此评估视频预测先验迁移到机器人动作学习的实际收益。
论文提出 Interaction-Constrained Drive Policy(ICDP)离线强化学习框架,用于控制自动驾驶中的交互分布偏移(IDS)。作者证明联合支持退化可精确分解为自车支持分量与残余交互支持分量,并通过对比密度比估计恢复后者,无需显式联合密度建模、周围智能体预测或在反应式模拟器中 rollout。
推荐理由:论文把分布偏移拆解为自车支持与交互支持两部分,为离线强化学习在自动驾驶中的应用提供了新的分析视角。
论文提出 Agentic Real-to-Sim-to-Real(Agentic RSR)框架,将场景重建、策略开发与真机执行通过同一操作任务串联:给定工作空间视频、任务描述和已知机器人模型,智能体恢复度量尺度、依据视觉反馈迭代细化场景,并在 MuJoCo 中检查任务相关交互,再由编码智能体从特权物体位姿逐步过渡到视觉观测和随机化仿真,生成可执行策略。
推荐理由:论文给出场景重建的量化误差和真机成功率保留比例,可评估该框架从仿真到真机的迁移效果。
论文提出 behavioral steerability(行为可操控性)概念,指行为基础模型忠实生成符合用户指定意图的行为的能力,并推出首个评测该能力的基准 RoboSteer。
推荐理由:论文提出行为可操控性的三层评测框架,并在 9 个 BFM 上做了首次大规模实证,可了解该能力的评估维度。
论文提出 Juno,一个围绕单一动作条件 JEPA 构建的统一框架,同时充当控制对齐的表征骨干、预测教师和可自适应的动力学模型,用于解决 VLA 中预测隐变量与具身控制不匹配、干扰动作学习、教师在分布偏移下失准三类问题。
推荐理由:论文给出在 SimplerEnv 和真机上的对照数据,可据此评估该方法相对基线的提升幅度与分布偏移下的稳定性。
论文介绍 SiGNgapore 数据集,用手持设备在新加坡多处公共场所采集,聚焦以导航标志为中心的无地图导航决策,包含 RGB、稀疏深度、里程计与 IMU 数据。数据集提供 56 个长程导航任务和超过 450 个标志中心场景,附带转换为 ROS 2 的工具脚本,以及测试环境的场地地图和 GPS 对齐的场景图。
推荐理由:数据集给出长程任务与场景规模及 ROS 2 转换脚本,可评估其对无地图导航研究的可用性。
论文研究了两个 DexUMI 系列外骨骼版本,二者共享相同的机器人指令定义、映射流程和触觉模块类型,但手侧几何不同。修订版接口降低了报告的体力负担,在基线版被机械阻挡的精密抓握中实现触觉采集,并带来任务相关的接触变化,其中拧盖任务主要表现为接触位置变化,打开蛋托主要表现为接触是否发生的变化。
推荐理由:论文对比了同一外骨骼两种手侧几何对触觉数据和策略成功率的影响,可为可穿戴采集设备选型提供依据。
论文提出 CIRRA(Continual Instruction Reconciliation for Robot Agents),一个面向家庭机器人在执行任务中接收新指令的双层框架,结合 LLM 语义推理与规则约束的结构化整合:先将新指令落到唯一可执行技能并消解未指明的动作与位置,再保留进行中的子任务序列作为执行骨架,仅对被修改的片段做依赖与冲突评估以选出局部整合方案。
推荐理由:论文给出 CIRRA 在 CHIRP 上 74.2% 决策一致率与 Unitree G1 实机结果,可评估其相对重规划基线的差距。
论文提出从多向量视觉文档检索器存储的索引中反演还原原始页面,把反演建模为条件文档图像生成。在 ViDoRe v3 基准上,从原始索引反演的页面可恢复 47% 的词和 45% 的敏感 token,用作查询时 98.4% 能把源页面排在首位。
推荐理由:论文用实验量化了多向量文档索引的反演风险,并测试了两种低成本防护的实际效果,做文档检索系统安全评估时可参考其方法。
Long-WAM 提出在实时控制约束下扩展因果世界-动作模型上下文的模型系统框架,核心发现是访问历史不等于使用历史,更长历史只有在视频底座经自回归预训练时才显著见效。
推荐理由:论文用对照实验说明自回归预训练的视频底座才让长历史真正转化为成功率提升,可为世界模型选型提供依据。
论文提出 LeWAM,一个面向控制的端到端 JEPA,采用下一隐状态预测与动作流匹配的联合训练目标,并对隐状态施加各向同性高斯约束,使单一模型既能直接执行策略,也能在隐动力学中评估采样动作进行高效规划。
推荐理由:对比数据和规划加速倍数齐全,读者可据此评估端到端 JEPA 相对既有方案的收益幅度。
论文提出 WorldGuide,将程序化视频生成建模为视觉世界空间中的闭环任务执行:给定初始图像和任务目标,模型预测原子动作、生成对应视频片段,再依据生成结果选择下一动作或终止。
推荐理由:论文公开了约 59K 步骤标注视频的评测基准,可为闭环任务生成研究提供可复现的对照数据。
DiffusionART(Diffusion Reinforcement with Aggregation-First Reward Tilting)提出一种扩散模型在线强化学习方法。
推荐理由:论文给出了与 DiffusionNFT、Flow-GRPO-Fast 的 GPU 小时与奖励对比数字,便于评估该方法的训练效率优势。
论文提出 Reflex 三阶段框架,让人形机器人以第一人称视觉完成接住抛掷纸箱的全身反应控制:先用强化学习训练全身接物策略,再让策略从延迟不完整观测中推断纸箱动力学,最后用第一人称 RGB-D 编码器直接从视觉恢复该动力学表示。
推荐理由:论文给出仿真与真机的对照数据,可评估视觉历史对人形机器人接物成功率的实际影响。
论文提出 Humanity's Sixth Sense(HSS)基准,用于评测多模态大模型对场景中隐含时间、空间、社会与抽象结构的直观视觉推理能力,覆盖图像与视频输入并配有结构化分类和人类撰写的提示。结果显示人类参与者准确率达 93.1%,而表现最强的模型 GPT-6-astra 即使在最大推理强度下也仅为 53.6%;引入动态视觉操作的 agentic 设置能缩小但未消除这一差距。
推荐理由:论文提出 HSS 基准并给出人机准确率对比,可量化直观视觉推理这一能力缺口。
SWE-Duel 提出一种自扩展的编码智能体评测竞技场,任务与判定在评估时生成,避免静态基准的数据泄漏与饱和问题。两个编码智能体在镜像的红蓝回合中互评:红方在真实仓库上实现新功能并植入隐蔽 bug,蓝方在不知情的情况下审查该 PR,随后双方交换角色。
推荐理由:论文提出评测任务在评估时生成的思路,可作为理解静态基准数据泄漏问题的参考。
论文提出 Universal Textual Teaching(UTT),一种免参数更新的知识蒸馏框架,把师生模型间观察到的知识差距蒸馏为可解释、可复用的自然语言产物 Primer。
推荐理由:论文给出免参数更新的知识蒸馏框架及具体提升幅度,关注大模型能力迁移的读者可评估其方法效果。
论文提出 LatentGRM,一个基于语义分块、压缩与重建的潜空间评估框架,用评分标准引导的压缩学习紧凑连续轨迹,实现无需生成文本的自主成对判断,并由独立解释器从轨迹重建评估文本。
研究构建了首个带时间戳的 agent skill 复制网络,基于 GitSkills 中全部 SKILL.md 的 git 历史,覆盖 GitHub 上 2,193,119 次技能采纳,并提供交互式查看器。
推荐理由:论文用 219 万次技能采纳数据证明按星标排序审计几乎无效,为安全团队提供了可直接落地的审计排序思路。