跳到正文
arXiv cs.RO 机器人学· Jingcheng Ni, Zekun Li, Zhiyang Dou, Xiaoyan Cong, Ziyao Zeng, Hongyang Du, Randall Balestriero, Taku Komura, Srinath Sridhar·· 2 小时前精选AI 评分51

Sonic-AMG:从空间音频流式生成人体动作的首个框架

Sonic-AMG: Streaming Human Motion Generation from Spatial Audio

AI 导读

Sonic-AMG 提出据作者所知首个从空间音频流式生成人体动作的框架,将声学内容与身体相对的声源几何编码为独立 token,由因果 transformer 与 flow head 生成连续动作 latent,再经因果解码器重建动作片段。

推荐理由

论文点明离线生成与流式推理的训练不匹配问题,并给出回放训练与空间反馈两个具体缓解手段,可迁移。

来源:arXiv cs.RO 机器人学 · arxiv.org