ClothCode:面向衣物状态估计与动力学预测的统一生成式框架
ClothCode 提出一个统一生成式框架,在共享离散配置空间中完成衣物状态估计与动作条件动力学预测,用材料对齐的 tokenizer 将衣物配置编码为残差向量量化 patch token,并由任务专用 Masked Generative Transformer 通过并行置信度引导精炼进行预测。
技术方向
AI 走进物理世界的整体进展:整机和基础模型、真实环境部署、量产节点与产业格局的追踪。
684 条精选近 30 天 626 条共收录 1,390 条
ClothCode 提出一个统一生成式框架,在共享离散配置空间中完成衣物状态估计与动作条件动力学预测,用材料对齐的 tokenizer 将衣物配置编码为残差向量量化 patch token,并由任务专用 Masked Generative Transformer 通过并行置信度引导精炼进行预测。
论文提出 DiTaR 框架,从异构视频中学习稠密奖励,通过非对称两阶段过程在任务相关隐空间中抑制与任务无关的视觉变化,并训练历史与语言条件的 rectified-flow 模型捕捉任务动力学,从动力学兼容性的时间变化导出方向性稠密奖励。
推荐理由:论文点明视频奖励易受视觉干扰的成因,并给出解耦方案,可作为奖励学习路线的参考。
Axiom-0 是一个通过层级自精炼提升视觉-语言-动作(VLA)策略的论文工作,包含 Intra-VLM Representation Refinement(IVRR)与 VLM-Action Interface Refinement(VAIR)两个组件,前者在训练中用一致性监督强化选定中间特征,后者在动作生成前递归更新条件输入,二者与动作生成器联合优化。
推荐理由:论文给出与榜单最高分的具体差距和推理延迟增幅,便于评估该方法的收益与代价。
论文提出一种接触自适应网格细化框架,仅在最有用的位置引入空间分辨率,用可变形体求解器已有的几何、弹性和接触量为候选边打分,再通过 GPU 并行流程选出无冲突子集,在仿真循环内直接更新网格拓扑与物理状态。在真实可变形物体操作序列上的评估显示,自适应细化降低了仿真与真实之间的误差、提升了与细网格参考的一致性,同时效率明显高于均匀细网格仿真。
推荐理由:论文对比了均匀细网格与自适应细化,说明局部加密能在保真度和仿真开销之间取舍。
论文为冻结的 π0.5 策略加装轻量 CALL 头,使其学会预测何时需要外部协助,仅在关键恢复事件时激活 GPT-6 Astra 并在稳定后交还控制权。
推荐理由:论文给出成功率与 token 消耗两组数字,可评估按需调用外部大模型是否值得引入自己的机器人系统。
论文提出一种硬件感知的 LLM-VLM 机械臂操作框架,在 NVIDIA Isaac Sim 中针对仿真 Franka Research 3 机器人进行验证。
推荐理由:论文把符号推理与度量执行分离并禁止大模型输出坐标,这一设计思路可供做机械臂任务规划的团队参考。
论文针对房地产外景 Gaussian splatting 拍摄结构构建了专用位姿图优化(PGO)系统,速度超过 COLMAP 但质量从未胜出。作者将差距归因于手工权重、贪婪合并与噪声 GPS 标尺,以及 SE(3) 边缺少尺度自由度、双视图边耦合不足两项固有限制,并提出需补回 Sim(3) 约束、GPS 绝对先验与不确定性加权。
推荐理由:论文剖析了纯位姿图优化在 Gaussian splatting 相机位姿估计上不及 BA 的多重成因,为方案选型提供失败模式参考。
论文提出 SenseWeather,一个面向严重雨、雪、尘、雾和黑暗条件的机器人感知多模态基准,配准了 RGB、深度与红外观测、干净参考图像及高层感知任务。
推荐理由:论文指出感知增益与图像保真指标不一致,为评估极端天气下的机器人感知提供了区别于画质的视角。
该论文在真实双臂平台上用受控变量实验比较了仅用两个大视场腕部相机与额外加入头部视角的策略。在三个桌面任务中,当腕部相机已能观测物体、夹爪和目标区域时,加入头部视角并未一致提升任务完成度与执行质量;对头部图像做 ROI 裁剪比未裁剪图像带来更稳定的收益。
推荐理由:论文用受控实验说明头部视角的收益取决于信息密度而非视角数量,可为双臂相机方案选型提供依据。
该论文将竞技人形乒乓球拆分为击球执行与回球决策两个问题,以球的落点目标作为运动控制与策略之间的接口:先训练以落点为条件的全身运动策略,再通过闭环对打的自博弈提升执行能力,最后冻结整套运动栈、单独训练选择落点的击球级策略。
推荐理由:论文把落点目标作为运动控制与策略的接口并冻结执行栈单独评测策略,这一实验设计对分层训练有参考价值。
论文针对接触丰富操作中的采样模型预测控制(SMPC),系统研究如何在有限算力预算下分配资源。作者开发了基于 MuJoCo Warp 的 GPU 框架 BAMPC,将动力学不确定性、状态不确定性和时间对齐作为预算的独立维度,并在仿真与真实机器人上使用同一套控制栈。在三个接触丰富操作任务上,最优预算分配取决于主导的 sim-to-real 误差来源,动力学随机化并非普遍最有效。
推荐理由:论文把固定算力预算拆成动力学不确定性、状态不确定性和时间对齐三个独立维度做对照实验,做 sim-to-real 的工程师可借鉴这种归因方法。
论文提出 RSSM-RLPD 方法,让 NAO 双足机器人仅靠机载传感与 unscented Kalman filter(UKF)估计状态、不依赖动捕或俯视相机,通过只在球被观测到时修正 RSSM 潜在状态来学习状态表征。
推荐理由:论文给出30分钟真实交互达到100%成功率的具体数字,可评估该方法在部分可观测场景下的实际效果。
论文提出 Region-Aware Interaction Networks(RAIN),把任务分解为由动作类型和目标区域掩码指定的目标条件子任务,使学到的技能可跨不同物体与场景布局复用并组合成训练中未见的任务序列。
推荐理由:论文指出VLA模型易记忆训练轨迹的局限,并给出可跨物体与场景复用技能的子任务分解思路。
arXiv 发布综述论文 From bits to atoms: A survey of cross-layer safety in Embodied AI,指出具身AI因数字故障与攻击可能造成物理伤害而引入信息物理风险。
推荐理由:综述用四层参考架构串联具身AI的漏洞、传播路径与防御策略,为梳理该领域安全问题提供了统一框架。
论文提出 Residual Compliant Policy 框架,让柔顺性在数据采集、轨迹泛化和策略学习各阶段显式可见:操作者遥操作真机时由同步数字双胞姿态误差可视化当前柔顺度并选择两种离散柔顺模式,结合 Laplacian 编辑与基于仿真的轨迹优化实现跨物体位姿泛化,再用残差强化学习策略调整底层导纳控制器的参考位姿来修正交互力。
推荐理由:论文指出示范中的柔顺性难以直接观测,并给出让其在各阶段显式化的框架,对从事接触操作研究的人有方法参考价值。
论文提出开放世界安全主张,认为家庭机器人应在未见场景(包括无法完成任务时)仍保持既定安全要求。作者分析现有安全方法可能因上下文误读、历史交互被忽略,或停止与恢复策略在陌生条件下变得不安全而失效,并提出规范、学习与落地安全要求、以可靠恢复机制执行并评估防护泛化能力的研究议程。
推荐理由:论文指出上下文误读和历史交互遗漏会让现有防护失效,为家庭机器人安全研究提供了可迁移的分析框架。
论文提出 OIL(Object Interaction Layer),在人形机器人全身控制的运动学指令接口上扩展物体运动与接触命令,由单一学习策略直接执行推动、拉动、双臂抓放和移动搬运等非抓取交互,无需针对任务重训。
推荐理由:论文把物体级指令接入全身控制,读者可了解单一策略如何免重训完成多类物体交互。
研究团队推出 LabInstruct,用于评测真实实验室场景下教学视频生成能力的基准,包含 5 个学科的 204 项任务,配有真实执行参考以及对物体、动作、接触和状态变化的结构化标注。论文评测了 8 个前沿图生视频模型,发现视觉上看似合理的生成结果常在流程层面出错,视觉真实度与实验指导所需可靠性之间存在明显差距。
推荐理由:评测覆盖 8 个前沿图生视频模型,可帮助判断生成视频用于实验指导的可靠性边界。
RoboHarness 论文提出一种机器人 harness,为 LLM 智能体提供视觉几何控制面板,使其能直接理解并调用具身任务。在 BEHAVIOR Challenge 2025 任务上,搭载该 harness 的 Qwen3.8-Flash-Next 表现超过当前先进的 VLA 模型,实现将开源实现发布。
推荐理由:论文对比了编码智能体加简单 harness 与大规模训练 VLA 两条路线,可作为具身操作技术选型的参考。
商汤大装置与上海市规划资源局联合升级的云宇星空大模型发布首批政务智能体,其中禹智河洛、大略之眼、详规小工单由商汤大装置团队研发交付,分别面向防汛调度、空间洞察、规划更新场景。
推荐理由:原文拆解了模型升级到智能体落地的完整链路,可迁移借鉴其任务分层调度与技能组件复用的做法。