跳到正文
arXiv 游戏 AI 检索· Kyungsu Kim·· 2026-10-09精选AI 评分43

LiveSynth:面向乐器克隆与文本生成乐器的流式神经合成器

LiveSynth: A Streaming Neural Synthesizer for Instrument Cloning and Text-to-Instrument

AI 导读

LiveSynth 是一个流式神经合成器,支持零样本乐器克隆与文本生成乐器,可实时交互演奏。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件,以 100 Hz 输出连续音频潜变量,再由因果变分自编码器解码为音频;帧级音色条件支持连续音色变形,MIDI 条件 dropout 支持从演奏前缀自主延续。

推荐理由

论文给出流式神经合成器的架构与实时性能数据,可了解可演奏乐器的低延迟生成方案。

来源:arXiv 游戏 AI 检索 · arxiv.org