跳到正文

技术方向

VLA 与具身大模型 最新动态

视觉-语言-动作模型与机器人基础模型:π0、Helix、GR00T 等的发布、开源与评测进展。

76 条精选近 30 天 44 条共收录 262 条

更新

精选归档 · 第 2 页

10月7日周三第 21–40 条
  1. arXiv cs.RO 机器人学58

    UMR 提出统一操作表示,实现人类演示到异构机器人的零样本技能迁移

    论文提出 Universal Manipulation Representation(UMR),把操作分解为与本体无关的 World Flow 和相对当前位姿的 Ego Trajectory 两部分,实现人类演示到异构机器人的零样本技能迁移。

    推荐理由:论文给出统一动作表示的几何分解思路,跨本体迁移的方法设计对做 VLA 策略的研究者有参考价值。

  2. arXiv cs.RO 机器人学58

    DEXTERA 提出从单张图像到可部署灵巧操作的 Real-to-Sim-to-Real 框架

    DEXTERA 提出一套自动化的 real-to-sim-to-real 框架,可将单张 RGB 图像转化为可部署的灵巧操作策略,覆盖场景分解、度量对齐、任务原语构建与多模态策略接口四个阶段。

    推荐理由:论文给出从单张 RGB 图像自动生成可部署灵巧操作策略的完整流程,并报告仿真与真实协同训练带来的成功率变化。

  3. arXiv cs.RO 机器人学62

    EgoSteer 开源全栈系统:从第一人称视频实现可引导的灵巧操作

    研究团队发布开源全栈系统 EgoSteer,用第一人称人类视频扩展灵巧手 VLA 预训练,并以少量真实机器人数据完成后训练。

    推荐理由:论文给出从第一人称视频构建 9606 小时预训练数据的完整管线,做灵巧手数据工程的团队可对照其吞吐与精度做法。

  4. arXiv cs.RO 机器人学58

    SVA 框架将树搜索蒸馏为动作评估器,提升冻结 VLA 模型的泛化能力

    论文提出 SVA(Search, Value, and Act)框架,用 Monte-Carlo tree search 在仿真中探索冻结 VLA 的输出分布并收集带经验回报的轨迹,再蒸馏成轻量 Q 值模型,部署时由评估器从多个候选动作中选出不确定性正则化 Q 值最高者,无需仿真器。

    推荐理由:论文用 pass@k 诊断说明冻结 VLA 输出分布里已有可用行为,把树搜索蒸馏成 Q 值评估器可在不改骨干的前提下提升成功率。

  5. arXiv cs.RO 机器人学58

    AHEAD 提出潜空间预测世界模型,让 VLA 处理动态操作任务

    AHEAD(Anticipatory Horizon Extrapolation with Adaptive Dynamics)提出一种 predict-then-act 包装器,用运动感知的潜空间世界模型预测 VLA 特征空间中的未来 patch token,使冻结的 VLA 能应对执行过程中物体移动的场景。

    推荐理由:论文给出 AHEAD 在动态抓取任务上相对基线的成功率对比,可为处理运动物体的 VLA 方案提供参考。

  6. arXiv cs.RO 机器人学58

    FLASH Policy 用稀疏采样与 Legendre 多项式实现高效视觉运动策略

    FLASH Policy 用 Legendre 多项式连续轨迹表示替代离散动作块生成,通过稀疏时间采样拟合专家演示,单次推理即可覆盖更长的动作时域。该方法以历史多项式系数而非高斯噪声初始化流匹配,缩短传输距离并支持单步推理,多项式解析求导还可直接为力矩控制器提供速度前馈信号。

    推荐理由:用 Legendre 多项式连续轨迹替代离散动作块,配合历史系数初始化流匹配,给出了单步推理与速度前馈的完整实现思路。

  7. arXiv cs.RO 机器人学58

    ProbeFlow 提出免训练自适应 Flow Matching 推理框架,加速 VLA 模型动作解码

    Zhou Fang 等提出 ProbeFlow,一种面向 VLA 模型的免训练自适应推理框架,通过初始与前瞻速度向量的余弦相似度评估轨迹复杂度并动态调度积分步数,以剪枝冗余网络评估。

    推荐理由:原文给出用速度向量余弦相似度动态调度积分步数的方法,可迁移到其他 Flow Matching 动作头的推理加速。

  8. arXiv cs.RO 机器人学58

    OGAM 论文提出基于物体注意力监控的 VLA 策略运行时保障方法

    论文提出 Object-Grounded Attention Monitoring(OGAM),把系统化测试与运行时保障连接起来,用成功与失败执行间的注意力差异信号在故障完全展开前停止执行。

    推荐理由:论文给出注意力偏离信号配合 DTW 与 conformal 校准的早停阈值设定方法,可迁移到其他 VLA 策略的运行时监控。

  9. arXiv cs.RO 机器人学58

    研究刻画 VLA 工作负载特性,指导具身 AI 系统设计

    一篇将发表于 ASPLOS '27 的论文对 4 个代表性 VLA 模型在边缘 GPU 服务器和两款车载 SoC 上做了单次推理剖析与 43,200 次闭环实验。结果显示动作张量维度决定各阶段是内存受限还是算力受限,平台平衡会改变瓶颈位置,GPU 频率调节存在平台相关的能耗-时延最优区间。闭环运行中推理与动作执行重叠会带来精度-速度-能耗权衡,没有一种配置在各类部署 SLO 下都占优。

    推荐理由:论文给出 VLA 模型在 batch-1 控制场景下的内存与算力瓶颈判定依据,可为模型、硬件与运行时联合设计提供参考。

  10. arXiv cs.RO 机器人学58

    研究揭示 VLA 机器人策略存在视觉接地缺口,任务成功未必遵循指令

    该研究通过保持场景不变的指令干预实验发现,当指令要求抓取另一个可见物体时,被评估的 VLA 策略与世界动作模型(WAMs)大多仍抓取场景偏好的原目标。线性探针能准确恢复被修改的指令目标,说明语言已被编码但很少决定目标选择;注意力分析显示指令 token 对动作生成贡献偏弱,目标 token 注意力仍停留在原物体上。

    推荐理由:论文用保持场景不变的指令干预,区分任务成功与真正遵循指令,给出一套可复用的诊断方法。

  11. arXiv cs.RO 机器人学58

    Mulligan 提出面向机器人在机学习的性能引导数据采集方法

    Mulligan 将初始状态分布作为决策变量,每轮从已观察到的失败状态和未尝试状态开始采集,以提升固定监督采集预算下的数据效率。论文在 2,550 个盲测留出回合的三个真实任务和两个仿真任务上评估,相比均匀初始状态采样表现更好;结合基于价值函数的动作选择后,HiL-IDQL+Mulligan 在真实任务上最终成功率提升 10-34 个百分点。在操作员介入下,人机协作完成 98% 的采集回合。

    推荐理由:论文给出在固定采集预算下按失败状态分配初始状态分布的做法,做数据采集策略的团队可参考其对比设计。

  12. arXiv cs.RO 机器人学58

    人形机器人全身运动持续学习:Similarity-guided LoRA-PNN 防止灾难性遗忘

    提出 Similarity-guided LoRA-PNN,用渐进式神经网络策略结合轻量 LoRA,在顺序任务流中让人形全身控制器持续学习而不遗忘已掌握技能。基于动态时间规整与最优传输的两级运动相似度决定复用哪个先验技能并分配新容量,在六个顺序学习技能类别上取得最佳前向迁移 0.125 与最高平均准确率,节省最多 94.5% 可训练参数和 40.8% 训练时间。

  13. The Robot Report58

    TwelveLabs 发布 Pegasus 1.6 视频理解模型,面向物理 AI 与第一人称视频

    TwelveLabs 发布 Pegasus 1.6 模型,面向机器人、无人机和自动驾驶等物理 AI 场景,是其首个面向第一人称视频的 AI 模型,不依赖特定相机或专有硬件。

    推荐理由:原文列出了五项工作流和第一人称视频定位,做机器人数据管线的团队可据此判断是否接入。

10月5日周一
  1. 机器人大讲堂56

    东京初创MW把天花板轨道机械臂装进住宅,2亿日元起售,机器人版2028年上市

    东京初创公司MW把沿天花板轨道滑动的双臂机械臂MW bot集成进住宅,首批不含机器人版本定价2亿~4亿日元,已在东京、横滨、福冈推进项目,搭载机器人的版本计划2028年上市。

    推荐理由:文章拆解了MW把机械臂集成进住宅的路线选择,以及它与双足人形方案在安全、算力和心理感受上的取舍。

10月3日周六
10月1日周四
  1. 波士顿动力博客72

    波士顿动力发布 Atlas 新一代四指灵巧手,13 自由度直接驱动

    波士顿动力为新一代 Atlas 发布四指灵巧手,共 13 个自由度、直接驱动,尺寸接近大型人手且平均力量更强,可搬运装满 100lb+ 的小冰箱。手部配备覆盖指尖和掌面的密集压力触觉传感器,关节可反向驱动以实现本体感知,支持捏取、三指抓握和握持电钻、射钉枪、焊枪等带扳机工具。

    推荐理由:原文解释了四指 13 自由度设计如何在灵巧性、强度与量产成本之间取舍,可为同类末端执行器选型提供参考。

9月30日周三
  1. 机器人大讲堂68

    AMD 82亿美元收购World Labs,国内4D世界模型路线分化

    AMD以约82亿美元全股票交易收购World Labs,李飞飞将加入AMD任执行副总裁兼首席科学家,交易预计2026年底前完成。文章借此梳理国内世界模型的三条路线:腾讯混元偏空间生成,群核科技偏空间数据与仿真训练,影身智能从多视角真实4D数据切入,经4D重建、世界模型到真机执行闭环。

    推荐理由:原文把AMD收购World Labs与国内三条世界模型路线并置,可用来理解4D世界模型从数据到产线的落地差异。

  2. 机器人大讲堂71

    智元100台灵犀X2进驻爱仕达门店,三天直播销售225.3万元

    智元与炊具品牌爱仕达合作落地,100台灵犀X2人形机器人进入爱仕达全国100家门店担任促销员,覆盖六十多个城市。双方在温岭、上海、无锡三地开展为期三天、每天10小时的直播,百店累计销售金额达225.3万元,带动门店业绩增长39%。

    推荐理由:原文给出三天直播的销售金额与增长比例,并拆解了机器人与真人导购的分工边界,可作为零售部署的验收参照。