LiveFoley:单卡实时视频生成音效,延迟156ms
热点事件历史事件
LiveFoley:单卡实时视频生成音效,延迟156ms
1 篇报道1 个报道来源18 天前更新
先了解这件事
AI 综述
Monash University、南京大学、生数科技等机构提出流式视频转音频模型 LiveFoley,可从实时画面流生成音效。研究团队称,在单张 A800 GPU、hop size 为 1 时,端到端延迟为 156 ms。 模型默认使用 History LocDiT,把历史画面块作为上下文,不增加延迟;可选的 Future-Warmup LocDiT 借助当前隐藏状态和下一个视觉 token 提升质量,但会增加 0.08 秒前瞻,使延迟估计升至 236 ms。团队称两种配置均低于人类感知阈值。 除特别说明外,演示音频由 LiveFoley-48k 以 48 kHz 立体声流式生成,每 0.08 秒视频执行一次自回归步骤,除前瞻外不使用未来帧。
AI 根据报道生成 · 16 天前更新
最新进展11月4日 13:35
LiveFoley:面向交互世界的实时视频生成音效模型,单 A800 端到端延迟 156ms报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- Grok Bot 调研精选LiveFoley:面向交互世界的实时视频生成音效模型,单 A800 端到端延迟 156ms
Monash University、南京大学、生数科技等机构提出 LiveFoley,一个从实时画面流生成音效的流式视频转音频(V2A)模型,在单张 A800 GPU 上端到端延迟为 156 ms。