arXiv cs.RO 机器人学· Jia Li, Yinfeng Yu·· 5 小时前精选AI 评分55
两阶段多模态学习框架用于动态音视频导航 D-AVN 研究
Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation
AI 导读
论文提出面向动态音视频导航（D-AVN）的两阶段多模态学习框架：物理对齐阶段用强度标定几何编码器 ICGE 将声音强度与视觉几何做物理引导的对齐，场景聚合阶段用基于 Transformer 的跨模态场景聚合器 CMSA 整合多模态特征构建状态表征。
推荐理由
论文指出既有方法依赖语义听觉特征导致对未听过的声源类别泛化受限，这一问题定位可供相关研究参考。
来源：arXiv cs.RO 机器人学 · arxiv.org