腾讯音乐 Lyra Lab 的音频驱动对口型模型：在潜空间只重绘嘴部 256×256 区域、保留人物身份与背景，支持中英日音频，1.5 版加入感知/GAN/同步损失提升清晰度与口型准度，并已开源训练代码。适合把已有口播视频换语言、给静态/生成人物加说话口型，与第 5 条流水线互补。注意其实时指标是 V100 上的数据，低端显卡速度差很多（评测：4GB 显存笔记本 fp16 生成 8 秒约 5 分钟）。
适用场景：口播译制出海、数字人直播切片、课程本地化
GitHub 开源 数字人 对口型 配音译制 MIT
操作步骤
- 备好 25fps 的人物视频（或先用其他工具生成无声人物视频）与目标语言音频
- 按仓库说明装环境（Python 3.10 + CUDA）并下权重
- 先用短音频跑 8 秒测试，检查人脸中心点设置（官方称该参数显著影响效果）
- 批量前统一源视频帧率与音频采样（16kHz）
中文提示词
""
英文提示词
""
开源项目信息
- 仓库：https://github.com/TMElyralab/MuseTalk
- Stars 口径：搜索结果 tools.zgba 称 6.4k+ GitHub Stars；以仓库页为准
- 许可：MIT（多篇来源一致；仓库附第三方依赖清单，含 Apache-2.0 组件）
接入本站 API：口型环节本地跑；音频前置环节走用户 API：LLM 翻译口播稿 +（后台若开通 TTS 模型）合成目标语言音频；整条链做成『中文稿进、多语言口播出』的服务化模板。
参数说明
- ratio：随源视频
- hardware：最低测试配置 4GB 显存（慢）；实时 30fps+ 为 NVIDIA Tesla V100 指标
- tool：PyTorch
注意事项
- ⚠️ 拿低端显卡的实际速度去排直播计划必翻车：实时只在数据中心卡上成立
- ⚠️ 只改嘴部意味着原视频的头部大动作/侧脸都会限制效果，正面小幅动作最稳
- ⚠️ 换语言译制涉及原视频与声音权利，商用须确认授权