∞ UnlimitCanvas 创作工作台
技术手册 / 短剧创作指南 / 音频、配音与音画同步

音频、配音与音画同步

20-短剧创作指南 · 2026-10-11 · 1.2 KB

一、短剧音频组成

音频类型用途本项目模板
角色对白台词、口型同步vox.audio.clone(vox.声音克隆)· qwen.tts.voice(千问.文字配音)· ltx.i2v(ltx.图生视频,音图模式)
背景音乐氛围、节奏海螺.歌曲创作、海螺.纯音乐
音效/旁白增强表现外部音频,或 ltx.i2v(音图模式)

二、角色对白与配音

用 vox.声音克隆 定制角色音色

  • 输入一段该角色的声音样本(或文字)→ 生成该角色的稳定音色。
  • 后续所有对白都用该音色,保证配音一致。

口型同步(音画同步关键)

对白镜头要让角色"说话"与声音同步,用音图生视频(首尾帧 + 音频):

  • ltx.i2v(ltx.图生视频,音图模式):输入该镜头的首帧/尾帧 + 对白音频 → 生成嘴型对上的视频 ✓(对白镜首选)
  • ltx2.3.sef(ltx.首尾帧生视频):只给首尾帧、不喂音频时用它。
  • ⚠ 海螺侧没有独立的"首尾帧生视频"节点:走统合模板 minimax.h3.t2i —— 连首帧=图生、连首帧+尾帧=首尾帧(模式由连线决定 ✓)
关键:先把对白音频生成好,再把它接入音图生视频节点,模型按音频时长与内容驱动口型。

三、背景音乐

  • 海螺.歌曲创作(minimax.music3.song):带歌词的歌曲,适合主题曲。
  • 海螺.纯音乐(minimax.music3.instrumental):纯背景乐,适合剧情铺垫。
  • 按场景情绪选:紧张→快节奏/低音;温情→慢速/钢琴;反转→突然变奏。

四、音画同步流程


① 写对白文案 → ② vox.声音克隆生成角色音色对白音频 → ③ 音图生视频节点输入(画面 + 对白音频)→ ④ 得到口型同步视频

五、配音规范

  1. 对白文案:贴合短剧人物性格(霸道总裁/白莲花/搞笑配角),口语化。
  2. 节奏:短句为主,每句 3~8 秒,留情绪停顿。
  3. 情绪:在提示词/文案里标注(震惊、愤怒、温柔)。
  4. 声音克隆样本:3~10 秒清晰人声最佳。

六、避坑

  1. 先音后画:对白场景务必先生成音频,再音图生视频,否则口型对不上。
  2. 音频与画面时长匹配:音频时长≈镜头时长,避免画音脱节。
  3. 不要用文生视频做对白:文生视频不认音频,口型是乱的。
  4. 纯音乐/歌曲选对情绪:配乐与剧情冲突会出戏。

七、AI 助手提示

  • 用户要对白 → 提示先声音克隆 + 生成音频 + 音图生视频。
  • 用户要配乐 → 按剧情情绪推荐歌曲/纯音乐模板。

来源:E:/workbuddyProj/unlimitCanvas/ai_manual/short_video/05-音频与配音.md