本地 Agentic AI 框架用于生成边缘场景以支撑安全 assurance
论文提出一个基于笔记本本地语言模型的 agentic AI 框架,用于自动生成自主系统的边缘场景,替代依赖人工介入或规则策略的既有方法。
推荐理由:论文说明了用本地 LM 双模型互评与仿真指标聚类定位功能缺口的完整闭环,关注安全 assurance 的读者可借鉴其方法设计。
技术方向
AI 走进物理世界的整体进展:整机和基础模型、真实环境部署、量产节点与产业格局的追踪。
684 条精选近 30 天 626 条共收录 1,390 条
论文提出一个基于笔记本本地语言模型的 agentic AI 框架,用于自动生成自主系统的边缘场景,替代依赖人工介入或规则策略的既有方法。
推荐理由:论文说明了用本地 LM 双模型互评与仿真指标聚类定位功能缺口的完整闭环,关注安全 assurance 的读者可借鉴其方法设计。
NovaSplat 提出一种免模型 6D 位姿估计流程,从接入阶段拍摄的短视频训练 3D Gaussian Splatting(3DGS)模型,同时作为检测与粗位姿估计的模板来源和位姿精修的可微骨干,精修器在无梯度奇异点的连续旋转参数化下结合光度与几何损失优化物体到相机位姿。
推荐理由:论文说明了用手机短视频训练 3DGS 同时充当检测模板与位姿优化骨干的做法,可迁移至无 CAD 模型的物体接入流程。
Sonic-AMG 提出据作者所知首个从空间音频流式生成人体动作的框架,将声学内容与身体相对的声源几何编码为独立 token,由因果 transformer 与 flow head 生成连续动作 latent,再经因果解码器重建动作片段。
推荐理由:论文点明离线生成与流式推理的训练不匹配问题,并给出回放训练与空间反馈两个具体缓解手段,可迁移。
论文系统比较了世界动作模型(WAM)中的视觉表征、五种集成机制与特征组合,发现强通用视觉表征能带来更广的鲁棒性增益,通道级联合预测取得最高平均成功率,且额外特征源应按任务相关信息选择。
推荐理由:论文在受控设置下拆分视觉表征与集成机制的各自贡献,选型时可参考其三条结论。
论文提出VLA推理框架IG-VLA,通过Latent Spatiotemporal Reasoning在视觉表征空间直接想象任务相关的未来场景演化以引导动作预测,并引入Scene Gist Memory将推理得到的场景-行为关联压缩为Scene Gist Token,在推理时跳过显式未来想象。
推荐理由:论文给出LIBERO-Plus上近6%的成功率提升和1081ms降至169.5ms的延迟数据,可评估该方法对VLA部署效率的实际价值。
Splat2Act 提出一套自动化 real-to-sim-to-real 流水线,仅用手机扫描场景和用户物品照片,即可把预训练 VLA 策略个性化到特定环境。
推荐理由:论文给出了从通用策略 0% 到个性化后 62.5% 的对比数据,说明仿真数据个性化路线的可行边界。
论文提出 Noise Space Learning(NSL),通过学习上下文条件下的噪声分布来适配基于 flow-matching 的 VLA,同时保持预训练模型固定。
推荐理由:论文把噪声空间学习抽象为适配接口并给出选型建议,需要在资源受限下微调 VLA 的读者可参考其方法比较。
Chronos Policy 让机器人策略显式以观测采集时刻和期望动作执行时刻为条件,从而应对观测速率、延迟和推理时延变化带来的问题。
推荐理由:论文对比了时间嵌入与 time-aware RoPE 两种注入物理时间的方案,做扩散策略的团队可借鉴其结论与训练时的时间随机化做法。
BT-Agent 提出一种机载架构,将 LLM 任务决策与预定义行为树(BT)技能结合,技能强制执行条件并返回结构化失败反馈,在四足机器人上用 9B 模型跨五类任务实现完全机载运行。
推荐理由:论文给出文本与 Habitat 两档评测的吞吐对比和消融结论,便于评估 agent 架构时参考其评测方法。
HorizonNav 提出一种基于视频扩散的机器人前瞻导航框架,将单张 RGB 图像与文本提示转换为几何对齐的周边 3D 空间表示,核心贡献是结合相机位姿与三角化视觉地标的几何引导深度对齐阶段。
推荐理由:论文公开了重建失败案例与误差数据,读者可据此评估该方法在无激光雷达条件下的真实边界。
MC-EvoBench 是一个受控 Minecraft 基准,包含 19 条注册演化链(12 条主评测链、7 条校准或探针链)和三组图对齐配对探针族,用于评估智能体能否把交互历史转化为可迁移、可持久的能力。
推荐理由:论文用受控实验设计区分能力提升与资源继承,其评估方法可迁移到其他具身智能基准。
论文提出 Dream to Remember(D2R),在冻结的通用机器人策略上持续引入新任务,同时保留已学技能:冻结的预训练世界模型通过想象 rollout 复习旧任务,无需回放缓冲或新数据。
推荐理由:论文用同一序列任务对比了 D2R 与 LoRA 微调的成功率差异,直观呈现持续学习中遗忘问题的严重程度。
论文提出一种单类时序学习框架,在烟尘等气溶胶遮蔽导致 LiDAR 退化时检测其可靠性并把定位权切换到雷达惯性里程计(RIO)。该框架用仅在正常工况下训练的 LSTM 自编码器对空间、跨模态、几何/运动、强度和测量新近度等特征的时序演化建模,无需标注退化数据即可检测异常。
推荐理由:论文用真实隧道浓烟数据验证了 LiDAR 退化时切换到雷达惯性里程计的方案,对地下机器人定位选型有参考。
SmolWAM 是一个面向边缘设备的隐空间世界-动作模型(WAM),从 2B 参数的 Cosmos Policy 蒸馏而来,保留其预训练主干并重建推理接口,包括单帧视觉隐变量、缓存文本特征、28 个 transformer 块中的 12 个,以及 1,008 个 token,通过一步 rectified-flow 读出动作与未来视觉隐变量。
推荐理由:论文给出了从2B参数教师模型蒸馏出轻量WAM的具体做法与量化指标,关注端侧部署的读者可参考其裁剪思路。
论文提出一种双四旋翼经单根不可伸长缆绳与负载上无摩擦滑钩连接的协同空中搬运系统,缆绳可在两段之间滑动,引入了耦合四旋翼运动、缆绳几何与负载动力学的缆长分配变量。作者构建了以期望负载位姿、缆长分配和系统形状为输入的参考轨迹生成框架,满足缆长约束与椭圆工作空间,四旋翼在保持正缆绳张力和执行器限制下跟踪轨迹,负载位姿由系统几何估计,实测位置仅用于校验期望轨迹,方法通过实验演示进行了评估。
推荐理由:论文给出了双四旋翼经滑动吊钩协同吊运负载的参考轨迹生成框架,并通过实验验证,可为多机吊运控制研究提供方法参考。
AutoBio+ 是一个面向真实生物实验室环境的灵巧操作仿真基准与框架,包含 14 项任务、覆盖 4 种机器人本体,涵盖功能工具使用、精密操作、语言条件视觉定位和仪器操作。
推荐理由:论文给出任务集、渲染管线和并行框架的具体构成,评测灵巧操作策略的人可据此判断方法是否可复用。
JitterVLA 通过回放相同指令与到达时序来隔离控制器效果,评估 VLA 策略稀疏目标延迟到达导致的运动突变问题。
推荐理由:论文用统一回放隔离控制器影响,给出插值对 p99 jerk 的量化改善与跟踪代价,便于评估同类方案。
论文提出两阶段微调方法 RARA,先从预训练中检索任务意图与运动相似的表征并对齐目标演示的表征,再在微调时限制对检索演示表征的改动,以减少表征漂移。在 Diffusion Policy 和 GR00T 上对 RoboTwin、RoboCasa 的 13 项任务及真实机器人实验显示,RARA 使微调平均成功率在分布内提升 9.5 个百分点、分布外提升 13.6 个百分点,优于全部对比基线。
推荐理由:论文给出了分布内与分布外成功率的具体提升幅度,关注少样本微调的读者可据此判断方法收益。
论文提出 HF-WM,一个结合人类交互学习与失败感知后训练的动作条件世界模型,用于改善机器人世界模型的泛化能力。
推荐理由:论文指出机器人数据集失败样本不足且人手与机械臂存在具身差异,给出的双分支运动表征与后训练思路可作相关研究参考。
论文提出反事实评估框架 RESCUE,用于判断机器人策略运行时监控的告警是否能促成有效干预,通过在执行检查点恢复仿真器与策略状态比较替代动作,找出满足恢复条件的最晚检查点并评估按告警行动是否降低预期任务完成成本。
推荐理由:论文用128,340条反事实分支量化了告警干预成本,给出了2.0-3.3%的误报率上限,可迁移性强。