arXiv cs.RO 机器人学· Jingcheng Ni, Zekun Li, Zhiyang Dou, Xiaoyan Cong, Ziyao Zeng, Hongyang Du, Randall Balestriero, Taku Komura, Srinath Sridhar·· 2 小时前精选AI 评分51
Sonic-AMG:从空间音频流式生成人体动作的首个框架
Sonic-AMG: Streaming Human Motion Generation from Spatial Audio
AI 导读
Sonic-AMG 提出据作者所知首个从空间音频流式生成人体动作的框架,将声学内容与身体相对的声源几何编码为独立 token,由因果 transformer 与 flow head 生成连续动作 latent,再经因果解码器重建动作片段。
推荐理由
论文点明离线生成与流式推理的训练不匹配问题,并给出回放训练与空间反馈两个具体缓解手段,可迁移。
来源:arXiv cs.RO 机器人学 · arxiv.org