跳到正文

技术方向

VLA 与具身大模型 最新动态

视觉-语言-动作模型与机器人基础模型:π0、Helix、GR00T 等的发布、开源与评测进展。

257 条精选近 30 天 224 条共收录 501 条

更新

精选归档 · 第 10 页

10月8日周四第 181–200 条
  1. Hugging Face 每日论文64

    Long-WAM:扩展世界-动作模型上下文的模型系统框架

    Long-WAM 提出在实时控制约束下扩展因果世界-动作模型上下文的模型系统框架,核心发现是访问历史不等于使用历史,更长历史只有在视频底座经自回归预训练时才显著见效。

    推荐理由:论文用对照实验说明自回归预训练的视频底座才让长历史真正转化为成功率提升,可为世界模型选型提供依据。

  2. Hugging Face 每日论文56

    WorldGuide:面向程序化任务执行的目标导向视频世界模型

    论文提出 WorldGuide,将程序化视频生成建模为视觉世界空间中的闭环任务执行:给定初始图像和任务目标,模型预测原子动作、生成对应视频片段,再依据生成结果选择下一动作或终止。

    推荐理由:论文公开了约 59K 步骤标注视频的评测基准,可为闭环任务生成研究提供可复现的对照数据。

  3. Hugging Face 每日论文66

    Reflex:基于视觉的反应式人形机器人控制框架

    论文提出 Reflex 三阶段框架,让人形机器人以第一人称视觉完成接住抛掷纸箱的全身反应控制:先用强化学习训练全身接物策略,再让策略从延迟不完整观测中推断纸箱动力学,最后用第一人称 RGB-D 编码器直接从视觉恢复该动力学表示。

    推荐理由:论文给出仿真与真机的对照数据,可评估视觉历史对人形机器人接物成功率的实际影响。

  4. Hugging Face 每日论文56

    HSS 基准评测多模态模型的直观视觉推理能力

    论文提出 Humanity's Sixth Sense(HSS)基准,用于评测多模态大模型对场景中隐含时间、空间、社会与抽象结构的直观视觉推理能力,覆盖图像与视频输入并配有结构化分类和人类撰写的提示。结果显示人类参与者准确率达 93.1%,而表现最强的模型 GPT-6-astra 即使在最大推理强度下也仅为 53.6%;引入动态视觉操作的 agentic 设置能缩小但未消除这一差距。

    推荐理由:论文提出 HSS 基准并给出人机准确率对比,可量化直观视觉推理这一能力缺口。

  5. Hugging Face 每日论文55

    Universal Textual Teaching:免参数更新的 LLM 知识蒸馏框架

    论文提出 Universal Textual Teaching(UTT),一种免参数更新的知识蒸馏框架,把师生模型间观察到的知识差距蒸馏为可解释、可复用的自然语言产物 Primer。

    推荐理由:论文给出免参数更新的知识蒸馏框架及具体提升幅度,关注大模型能力迁移的读者可评估其方法效果。

  6. Hugging Face 每日论文55

    SepGen:在单一模型中实现多声源音视频分离与生成

    SepGen 扩展了预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及每个带描述声源的独立波形。它支持生成与分离两种模式:生成模式下每个声源描述指定其 stem 内容,分离模式下输入音轨保持干净、由描述指定要提取的内容。

    推荐理由:论文说明了音视频生成器只能输出混合音轨的局限,以及 SepGen 如何在一次采样中同时给出各声源独立波形。

10月7日周三
  1. arXiv cs.RO 机器人学58

    研究解析行为提示在机器人操作任务中的生效条件

    该论文对行为提示(behavior prompting)何时、如何生效进行了实证研究,引入 DrawAnything 和 LIBERO-Gen 基准(最多 2000 个程序生成任务)、上下文视觉运动架构 Behavior Prompting Policy(BPP)以及手持演示接口 iPhUMI。

    推荐理由:论文用消融实验指出任务多样性比单任务演示数更关键,做数据采集取舍的团队可参考这一结论。

  2. arXiv cs.RO 机器人学58

    DepthWorld:面向机器人操作的3D世界模型

    DepthWorld 提出一种结合学习式立体深度与联合因子图的标定流程,将 DROID 数据集标定为提供稠密度量深度和多视角外参的 DROID-3D,外部相机在 90% 的 episode 上重投影误差 <0.7 px。

    推荐理由:论文解释了RGB-only世界模型几何不一致的成因,并给出可迁移的标定与深度监督思路。

  3. arXiv cs.RO 机器人学52

    事件驱动状态变化推理实现机器人主动协助的协同操作研究

    该论文提出一种事件驱动框架,通过事件监视器监控工作区状态变化并提取前后快照,由冻结的预训练 VLM 依据语义先验推断任务上下文、判断是否需要协助并生成动作序列,动作被限制在一组动作原语内以保证可执行可验证。在三个真实桌面协作任务上评估显示,该框架无需任务特定训练或微调,性能与获得用户指令的变体相当。

    推荐理由:论文把主动协助建模为事件驱动推理,在三个真实桌面任务上验证了无需任务训练即可达到与指令驱动相当的性能。

  4. arXiv cs.RO 机器人学58

    论文提出紧凑操作策略 CoRP,论证细粒度视觉表征的关键作用

    论文提出紧凑操作策略 CoRP(48.9M 参数,不含视觉语言模型和视频生成先验),在 LIBERO 达到 97.0%,在 RoboTwin 2.0 Clean/Randomized 分别达到 75.78%/73.36%,匹配大 40.9-163.6 倍的系统。

    推荐理由:论文用逐项消融拆解了视觉表征各因素对操作策略性能的贡献,便于评估模型规模与预训练先验的实际作用。

  5. arXiv cs.RO 机器人学58

    SALT:让 VLA 模型在执行中适应未知视觉干扰

    SALT 用上一动作块未执行的 leftover 轨迹作为自监督信号,在测试时对 VLA 策略做适应,无需干扰标注、专家动作或目标域演示。在 LIBERO-10 上,SALT 将 SmolVLA 在五种持续视觉干扰下的平均成功率从 43.9% 提升到 53.2%,GR00T N1.7 从 58.7% 提升到 66.0%。真机实验中,任务进度从 0.49 提升到 0.61。

  6. arXiv cs.RO 机器人学59

    OpenWAM:面向可组合世界-动作模型的开放框架

    OpenWAM 提出一个开放的世界-动作建模(WAM)框架,以 Wan2.2-5B 为起点在超过 10,000 小时视频上做因果机器人视频预训练,并通过共享 Mixture-of-Transformers 架构接入动作专家,支持联合、先视频后动作、先动作后视频和解耦四种生成方式。

    推荐理由:论文给出了各交互设计在同一测试床上的对比数字,便于评估反事实数据对动力学学习的增益。

  7. arXiv cs.RO 机器人学58

    SMART:大规模合成预训练实现关节物体操作的零样本 sim-to-real 迁移

    SMART 提出面向关节物体操作的大规模合成演示预训练系统,其 SMART-Sim 仿真平台具备关节感知设计,可生成任务并高效采集演示,最终合成的 SMART-Data 覆盖 44 类原子任务、5 种机器人配置和 2,507 个关节物体,共超过 1M 条演示。基于该数据预训练的 VLA 模型在仿真基准上表现具备竞争力,并在真实世界的关节物体操作任务中实现零样本 sim-to-real 迁移。

    推荐理由:论文给出合成演示数据的规模与零样本迁移结果,可评估合成预训练在关节物体操作上的可行性。

  8. Hugging Face 每日论文55

    系统化多智能体视觉语言导航:形式化、基准与方法

    论文提出 Systematic Multi-Agent Vision-and-Language Navigation,将多智能体 VLN 形式化为带依赖与资源约束(presence locks 和 holding chains)的协同问题。

    推荐理由:论文把多机器人视觉语言导航形式化为带约束的协同问题并给出基准,读者可据此了解该任务的建模方式与评测指标。

  9. arXiv cs.RO 机器人学58

    MG-VQA:面向杂乱场景的操控式视觉问答基准与评测

    论文提出 Manipulation-Grounded Visual Question Answering(MG-VQA)设定,让智能体通过物理操作揭示被遮挡证据来回答杂乱桌面场景中的问题,并发布含 600 道人工核验问题、覆盖四项空间推理任务的 MG-VQA-Bench。

    推荐理由:论文给出三级环境访问的成功率对比,可量化操作交互对 VLM 空间问答的实际增益。

  10. arXiv cs.RO 机器人学60

    Flash-WAM 提出模态感知步蒸馏,将世界动作模型推理压缩到单步

    Flash-WAM 提出模态感知的步蒸馏框架,针对动作流低噪声区间采用线性梯度缩放参数化、视频流高噪声区间采用保方差参数化,把世界动作模型推理压缩到每个模态单步。

    推荐理由:论文给出了动作流与视频流噪声分布不对称的结构性分析,做世界动作模型实时推理的团队可据此选择一致性函数参数化。

  11. arXiv cs.RO 机器人学58

    面向实时 VLA 的两阶段非均匀去噪与系统级评测

    论文针对 VLA 模型低速率推理与机器人高速率执行之间的时间差,测量了模型推理与机器人执行链的端到端时延,并提出两阶段非均匀去噪,将去噪步数从 10 步减到 2 步、模型推理时间从 61.557 ms 降到 21.956 ms。

    推荐理由:论文给出两步去噪把推理时间从 61.557 ms 降到 21.956 ms 的实测数据,可为 VLA 实时化优化提供参考。

  12. arXiv cs.RO 机器人学58

    UMR 提出统一操作表示,实现人类演示到异构机器人的零样本技能迁移

    论文提出 Universal Manipulation Representation(UMR),把操作分解为与本体无关的 World Flow 和相对当前位姿的 Ego Trajectory 两部分,实现人类演示到异构机器人的零样本技能迁移。

    推荐理由:论文给出统一动作表示的几何分解思路,跨本体迁移的方法设计对做 VLA 策略的研究者有参考价值。