出海数字营销宝典 Logo
出海数字营销宝典evaoo.com

高拟真数字人口播实战指南:声音克隆与画面驱动解耦流程

2026-11-06Rachel🥥 @Zesee约 26 分钟阅读

AI Agent 自动化口播工作流MiniMax TTS + HeyGen + Codex Skill112.2 万+ 阅读

99% 的人没看出来的数字人口播实战攻略

昨天发了一条数字人讲 FDE 的口播视频,很多读者看完都不敢相信这是数字人生成的。本文拆解如何把“声音克隆与画面驱动拆开”,并封装成可直接复用的 $rachel-digital-human-production Codex Skill。

R

Rachel🥥 @Zesee

发布于 2026 年 7 月 16 日 19:53(UTC+8)

112.2W 4,174 1,994 381 77

GitHub: rachel-digital-human-production · 查看 X 原帖

99% 的人没看出来的数字人口播实战攻略99% 的人没看出来的数字人口播实战攻略

点击放大

昨天发完那条讲 FDE 的数字人口播视频后,评论区很多人以为是真人出镜。我已经把整套数字人口播制作流程打包成了一个可复用的 Codex Skill。

GitHub 仓库:https://github.com/Jingyi-Wu-Richael/rachel-digital-human-production

最终跑通的 7 步工作流:

  1. 素材检查2. MiniMax 生成配音3. HeyGen 15 秒样片4. 人工确认5. HeyGen 完整版6. 下载验片7. 状态归档

这套方案适合知识口播、短视频批量生产、课程讲解、产品介绍、多语言内容和固定 IP 数字人账号。

图 1A:用 Codex、Remotion 和数字人自动生成的 FDE 口播成片画面图 1A:用 Codex、Remotion 和数字人自动生成的 FDE 口播成片画面

图 1A:用 Codex、Remotion 和数字人自动生成的 FDE 口播成片画面

图 1B:评论区读者误以为是真人出镜的互动反馈截图图 1B:评论区读者误以为是真人出镜的互动反馈截图

图 1B:评论区读者误以为是真人出镜的互动反馈截图

01一、整条流程怎么分工

这套方案的核心做法是把声音和画面拆开。

MiniMax

负责声音克隆和 TTS,生成还原真人语气与音色的 MP3 音频。

HeyGen

负责人像画面驱动,同步口型、表情和肢体动作。

Codex

负责检查素材、编排调用顺序、记录任务状态和控制扣费风险。

完整执行步骤:

  1. 准备真人录音,用 MiniMax 海外版克隆声音。
  2. 把文案交给 MiniMax TTS,生成克隆音色的 MP3。
  3. 准备一张清晰的正面人像照片。
  4. 把人像和 MiniMax 生成的 MP3 上传到 HeyGen。
  5. 先生成 15 秒样片,确认后再生成完整视频。

常见误区:用 MiniMax 做好了克隆音频,却在 HeyGen 里重新调用配音

要保留 MiniMax 的克隆音色,必须直接上传它导出的 MP3 音频来驱动 HeyGen 画面。不要切回 HeyGen 自带的 script + voice_id 配音模式,否则会换掉原本克隆好的声音。

02二、HeyGen 和 MiniMax 模式怎么选

首次上手建议直接用 Image-to-Video 模式,通过 API Key 即可调用,生成一条 2 分钟视频大约花费 2 美元。

这种模式足够轻量,不用提前训练专属 Avatar。你只需上传一张人像和一段音频,就能快速验证口型、表情、面部稳定性和画面构图。

HeyGen 模式建议

  • 单条测试:先用 Image-to-Video 模式跑通流程。
  • 固定账号长期更新:验证稳定后再训练 Photo Avatar。
  • 选型原则:没跑通样片前先别训练 Avatar,测试阶段越轻量越好。

MiniMax 模式建议

  • 首次测试:先用海外版 Voice Clone 克隆音色,再用 TTS 合成 MP3。
  • 追求音质:正式成片优先选 speech-2.8-hd。
  • 批量试听:需要快速预览时,先用 speech-2.8-turbo 跑测试。

图 2A:HeyGen for Developers API(支持一键复制进 Claude 或 Codex)图 2A:HeyGen for Developers API(支持一键复制进 Claude 或 Codex)

图 2A:HeyGen for Developers API(支持一键复制进 Claude 或 Codex)

图 2B:MiniMax Pay-as-you-go 按量计费后台(Balance & API Usage)图 2B:MiniMax Pay-as-you-go 按量计费后台(Balance & API Usage)

图 2B:MiniMax Pay-as-you-go 按量计费后台(Balance & API Usage)

图 2C:MiniMax Audio 海外版工作台(Voice Clone 与 Speech 2.8)图 2C:MiniMax Audio 海外版工作台(Voice Clone 与 Speech 2.8)

图 2C:MiniMax Audio 海外版工作台(Voice Clone 与 Speech 2.8)

03三、素材准备:不用复杂,但必须干净

  1. 声音样本规范(MiniMax 官方要求与实操建议)

声音克隆效果差,多半是因为原始干声不够干净。按 MiniMax 当前官方文档,声音样本需满足以下规格:

  • 格式:MP3、M4A 或 WAV。
  • 时长:10 秒~5 分钟。
  • 文件大小:不超过 20 MB。
  • 可选提示音频:少于 8 秒,并附上与录音逐字对应的文本。

实操建议录制 30 秒~90 秒干声:保持单人录音,不加背景音乐,避开混响和电流杂音。录音时音量平稳、语速贴近日常口播,不要拿过度降噪、倍速或多次转码压缩的二手音频当样本。

图 3:在 Codex 中上传 83.03 秒声音样本完成声音复刻并调整语速图 3:在 Codex 中上传 83.03 秒声音样本完成声音复刻并调整语速

图 3:在 Codex 中上传 83.03 秒声音样本完成声音复刻(RachelVoice_20260714),并生成 1.15× 语速试听音频

  1. 人像底图规范(HeyGen Assets 要求)

人像底图同样要保持干净,具体要求如下:

  • 正脸平视镜头,五官无遮挡。
  • 完整露出头、肩和上半身,人物占画面比例约 50%~70%。
  • 嘴部轮廓清晰,避开头发、手势和重度滤镜遮挡。
  • 竖屏短视频优先使用 9:16 或接近 9:16 比例的底图。
  • HeyGen Assets API 支持 PNG 和 JPEG 格式,普通素材单文件上限为 32 MB。

经验总结:底图嘴部越清晰,成片口型越稳;录音干声越干净,克隆音色越像本人。

图 4:先生成 15 秒 HeyGen 样片确认后再生成完整版图 4:先生成 15 秒 HeyGen 样片确认后再生成完整版

图 4:Codex 实操记录,上传人像与 1.2x 强 Hook 音频后,先跑 15 秒竖屏样片(720×1152),确认无误再生成全片

04四、怎么放进 Codex 执行

每个数字人项目都统一按这套目录结构存放素材:

标准数字人项目目录结构(project/)

TEXT12 行
1project/
2├── inputs/
3│ ├── portrait.jpg
4│ ├── voice-source.mp3
5│ └── script.md
6├── work/
7│ ├── voiceover-full.mp3
8│ ├── preview-15s.mp3
9│ └── job-state.json
10└── outputs/
11 ├── preview-15s.mp4
12 └── final-1080p.mp4

建好目录并放好素材后,向 Codex 发送以下指令:

Codex 标准执行指令

TEXT13 行
1请用 MiniMax 海外版声音克隆和 HeyGen API 制作数字人口播。
2输入:
3- 文案:inputs/script.md
4- 人像:inputs/portrait.jpg
5- 声音样本:inputs/voice-source.mp3
6- MiniMax 密钥来自环境变量 MINIMAX_API_KEY
7- HeyGen 密钥来自环境变量 HEYGEN_API_KEY
8流程:
91. 先检查素材。
102. 先生成 15 秒样片。
113. 样片确认后再生成完整版。
124. 所有任务 ID 写入 work/job-state.json。
135. 不要在日志、脚本或文档中显示完整密钥。

这一步的重点是固定标准流程。

不用靠脑子记住每个参数细节,把验证过的流程写进 Skill,让 Codex 每次按既定步骤自动执行即可。

05五、这个 Skill 固定了什么

仓库地址: https://github.com/Jingyi-Wu-Richael/rachel-digital-human-production

一句话调用方式:

用 $rachel-digital-human-production 做这条视频,先只做 15 秒样片。

这套 Skill 固化了 9 条执行规则:

固定目录结构(inputs、work 和 outputs)。

执行前先检查文案、人像和声音样本。

MiniMax 负责生成声音,HeyGen 负责驱动画面。

每次先生成 15 秒样片。

样片未经人工确认,不生成完整成片。

每一步记录 voice_id、asset_id、video_id 和任务状态。

任务报错时不盲目重试,避免重复扣费。

导出最终 MP4 后做完整性检查。

不在日志、脚本或状态文件里写入 API Key、授权 Header 和临时下载链接。

06六、避坑要点与官方参考文档

数字人视频最容易踩坑的地方,是成片不自然。

常见翻车现象集中在两方面:一是声音不像本人、中文口型对不上;二是面部轻微变形、嘴角与下巴动作生硬,或者眨眼晃肩不自然、构图不适配竖屏。

所以我把“15 秒样片”写成强制步骤。先用 15 秒确认声音、口型、画面和构图。确认没问题,再跑完整视频。

相关链接:

数字人口播 Codex 指令定制器与 15 秒样片质检清单
数字人工作流

觉得本文有启发?一键复制标准引用摘要

自带原文归因链接与核心摘要,可直接粘贴至团队飞书/Slack 知识库、技术周报或大模型上下文。