跳到正文

技术方向

语音与音乐 最新动态

游戏里的语音与音乐 AI:角色配音与实时 TTS、口型同步、动态音乐生成与音效。

47 条精选近 30 天 23 条共收录 72 条

更新

精选归档 · 第 2 页

10月30日周五第 21–40 条
10月29日周四
  1. Inworld AI Blog50

    Inworld 更新 Realtime TTS-2,新增推理模式并提升速度与音色一致性

    Inworld 为 Realtime TTS-2 推出两项更新,其中可选的 Reasoning 功能会在合成前先根据上下文写出表演指令。更新后的模型沿用原有模型 ID,据其与旧版本的对比,短句生成快约 13%,中等长度快约 9%,并改进了克隆音色相似度和长文本丢词问题。目前支持 TTS-2 的单次合成与异步合成,WebSocket 流式、双工和批量合成即将推出。

    推荐理由:与固定情绪标签相比,它让模型依据上下文自行写出表演指令,但 WebSocket 流式和双工接口要等之后才开放。

10月28日周三
  1. Google DeepMind53

    DeepMind 推出新一代世界模拟模型 Genie 4

    Google DeepMind 推出新一代世界模型 Genie 4,可实时生成带原生音频和交互对话的模拟世界。用户可以用自然语言实时修改天气、镜头或加入人物与物体,Gemini 会调整提示并维持场景连贯。目前以研究预览形式向受信任测试者开放,Google AI Ultra 订阅用户和 Gemini API 早期合作伙伴将陆续获得访问,视觉细节和物体持久性仍可能随时间漂移。

    推荐理由:它把原生音频、实时转向和 Gemini 推理放进同一套世界模拟,可借此观察交互世界模型的可用路径。

10月23日周五
  1. Roblox 开发者论坛公告60

    Roblox Studio 测试版新增 Lua 文字转语音资产创建支持

    Roblox Studio 测试版中,AssetService:CreateAssetAsync 可把 AudioTextToSpeech 对象转为语音音频资产,开发者能在 Studio 中提前生成语音,而不必在游戏运行时调用文字转语音。这样语音可以即时响应,也能避开 API 速率限制。当前生成的资产无法自定义名称、描述或创作者 ID,统一命名为 TTS_Asset_加资产 ID。

    推荐理由:这次更新把语音生成从游戏运行时移到了 Studio 编辑阶段,适合关注语音内容接入成本和接口限制的开发者参考。

10月22日周四
  1. fal36

    HeyGen Video 与 HeyGen Voice 上线 fal 平台

    fal 平台上线 HeyGen Video 与 HeyGen Voice 两款生成模型,视频片段内置对白、环境音和音效。视频支持文生视频、图生视频和参考图生视频,单段 5 到 15 秒,最高 2K。语音支持 39 种语言与即时声音克隆,并提供更快的 Turbo 档位。

    推荐理由:文中给出的片段时长、分辨率和语音语言数等参数比较具体,便于与其他视频与语音生成工具对照。

10月21日周三
  1. Inworld AI39

    Latitude 借助 Inworld 为 Voyage 实现全程角色旁白

    Inworld 为 Latitude 的游戏 Voyage 提供语音合成与模型推理服务,使每个剧情节点都能配上角色化旁白。案例中,语音成本约为 Latitude 原供应商的四分之一,TTS 速度在其生产测试中比另一供应商快 3–5 倍。六周内,平台处理了超过 1500 万次 TTS 调用和 2500 万次推理调用。

    推荐理由:案例给出了语音成本、TTS 速度和调用量等厂商披露的数字,可用来对照游戏全程旁白在成本与基础设施上的取舍。

10月20日周二
  1. GamesIndustry.biz64

    日本演员工会发布语音生成式AI使用指南,限制未经授权的声音复刻

    日本演员工会发布指南,要求使用生成式AI复刻或训练演员表演的各个环节都须事先取得同意。指南规定,AI复刻的表演应视为新表演并支付额外报酬;已故演员的声音只有生前获得许可才能复刻,且还需取得家属和所属机构的同意并付费。自动翻译同样需要保持原表演的艺术完整性,未经许可不得用于海外。

    推荐理由:准则覆盖训练同意、复刻报酬和跨境翻译等细节,可与文中提到的 SAG-AFTRA 协议条款对照阅读。

10月19日周一
  1. GamesIndustry.biz41

    游戏开发中的AI法律现状梳理

    律师Anna Poulter-Jones梳理了游戏工作室使用生成式AI时面临的主要法律风险,涵盖训练数据侵权、输入输出授权、数据隐私、AI生成内容的版权归属和深度伪造标识。

    推荐理由:作者是游戏领域律师,梳理了训练数据、输出归属、深度伪造标识和平台披露等法律风险,可用来对照自己的合规流程。

10月16日周五
  1. ElevenLabs39

    ElevenLabs 推出 Instant Soundtracks,一次为视频生成配乐与音效

    ElevenLabs 推出 Instant Soundtracks,上传视频后可由模型生成原创配乐,并在合适时间点加入音效。用户还可以把原视频音频作为参考,让新配乐保持相近的风格。该功能已在 ElevenCreative、ElevenMusic 和 ElevenAPI 上线。

    推荐理由:功能直接面向视频创作者,可在一次处理中同时生成原创配乐和音效,适合对照现有视频后期流程评估。

10月15日周四
  1. GameLook 游戏大观41

    库洛首次投资AI公司言之域,游戏圈AI投资持续升温

    根据工商信息,库洛投资了言之域科技(深圳)有限公司,持股比例为15%,这是库洛首次投资AI公司。言之域成立于2024年,产品包括AI音频创作平台Vocu悟声和面向3D AI角色交互的元语TalkiVerse,后者可用于游戏NPC等场景。文章同时提到,米哈游、三七互娱、巨人网络等游戏公司近年也在大模型、AIGC等AI领域加大投资。

    推荐理由:文章把库洛的这笔投资放回腾讯控股与二游厂商持续押注AI的背景中看,适合了解国内游戏公司AI投资的整体走向。

10月14日周三
  1. fal34

    Mirelo SFX V2.0 已在 fal 上线

    Mirelo SFX V2.0 已在 fal 平台上线,可根据文本提示或视频输入生成音效。它能在保留对白的同时替换不需要的音乐和声音,并在视频切换镜头之间生成连贯的音效和环境音。

    推荐理由:除文本提示外还能以视频为输入生成音效,并能在保留对白的同时替换不需要的音乐和声音。

  2. 游戏陀螺41

    库洛投资言之域科技持股15%,押注AI角色表现技术

    库洛科技已成为言之域科技新增股东,持股15%,库洛创始人刘胜进入言之域董事会,这是库洛在AI领域的首次公开投资。言之域主打超拟人语音和3D角色驱动系统,多方消息称其天使轮对应估值约2亿元。文章指出,接下来需要验证其语音与3D驱动模型能否接入库洛的游戏引擎与在研项目。

    推荐理由:文章把这笔投资放进游戏行业AI投资的整体数据中看,读者能看到游戏公司把角色表现能力向底层技术延伸的思路。

10月13日周二
  1. 游戏陀螺49

    《幸存者笔记》导演谈AI互动影游:6人4个月做出赛道第一产品

    游戏陀螺专访《幸存者笔记》总导演西溟和发行方神秘皇冠CEO亦周,称该作从开始制作到封包约4个月,团队共6人,视频素材约700分钟。按每分钟2000元的市场价估算,纯视频部分约140万元,不含真人配音和游戏封装。西溟表示,团队的AI视频有效镜头率约为20%,剧本以人工编写为主。

    推荐理由:访谈给出了6人团队约4个月完成700分钟视频的制作细节,以及成本估算和抽卡率,可用来判断AI互动影游的生产门槛。

10月12日周一
  1. PocketGamer.biz54

    Roblox 将 Audioscape 团队纳入内部,开发 AI 音频工具

    Roblox 已把 AI 音频初创公司 Audioscape 的团队纳入公司,其技术将原生并入 Roblox 的创作者工具。Audioscape 开发的 AI 音频搜索与发现工具,让创作者按声音的实际听感而非名称查找音效;近期还做出覆盖音频发现、音效设计、音频编程、混音与测试的 AI Audio Agent,目标是让 Roblox 创作者更接近 3A 级音频制作。

    推荐理由:Roblox 把 Audioscape 团队纳入内部,其按声音特征检索的音频工具将内建为平台创作能力,可据此观察平台音频生产链路的变化。

  2. GameLook 游戏大观60

    《教妹妹开车》Demo 爆火,开发者每日 AI 账单 7000 元靠贷款续命

    4 人独立团队 Easy Fox 开发的驾驶教学模拟游戏《教妹妹开车》Demo 在 Steam 和社交平台爆火,一个月内试玩玩家数量增长超过 20 倍。由于妹妹语音由云端大语言模型实时生成,每日 AI 服务开销超过 16 万日元(约合人民币 7000 元),团队资金链濒临断裂,不得不申请银行贷款维持服务器,并坦言试玩版可能提前下架。

    推荐理由:独立团队因云端大模型 Token 成本被玩家涌入拖入负债,呈现 AI 实时对话玩法在商业化上的成本结构问题。

10月10日周六
10月9日周五
  1. arXiv 游戏 AI 检索43

    LiveSynth:面向乐器克隆与文本生成乐器的流式神经合成器

    LiveSynth 是一个流式神经合成器,支持零样本乐器克隆与文本生成乐器,可实时交互演奏。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件,以 100 Hz 输出连续音频潜变量,再由因果变分自编码器解码为音频;帧级音色条件支持连续音色变形,MIDI 条件 dropout 支持从演奏前缀自主延续。

    推荐理由:论文给出流式神经合成器的架构与实时性能数据,可了解可演奏乐器的低延迟生成方案。

  2. Roblox 开发者论坛公告58

    Roblox 为 TTS API 加入自动翻译,AutoLocalize 默认开启

    Roblox 宣布为 text-to-speech(TTS)API 加入自动翻译,玩家会听到用自己语言生成的语音。AudioTextToSpeech 新增 AutoLocalize 属性并默认设为 true,Roblox 会检测输入文本的语言并与服务器内玩家的语言设置比对,两者不同且都受 TTS 支持时自动翻译并路由到特征最接近的预设音色。

    推荐理由:接入只需保留默认开启的 AutoLocalize,但自动翻译目前只覆盖 AudioTextToSpeech 动态音频,TTS 资产仍在计划中。

9月30日周三
  1. 游戏陀螺43

    Vidu S2 驱动 AI 主播紫樱中秋开播,30多万人在直播间围观整活

    中秋节期间,造梦次元的AI主播紫樱在直播间挑战限时营业任务,支撑她的实时互动模型是前不久发布的Vidu S2,当天直播间一度涌入2万人。紫樱没有固定流程,观众可点歌、投票选造型、送礼物,她要在互动中换装和表演,被打断后还得接回前面的内容。作者还实测了Vidu S2的Avatar和Editing,上传真人照片或动漫图片并补充设定即可创建数字人,开启摄像头后能在拍摄过程中实时换装、改画风和换背景。

    推荐理由:以一场无固定流程的AI主播直播为样本,实测Vidu S2的实时互动与换装能力,并讨论其在游戏NPC上的落地可能。