音频、配音与音画同步
20-短剧创作指南 · 2026-10-11 · 1.2 KB
一、短剧音频组成
| 音频类型 | 用途 | 本项目模板 |
|---|---|---|
| 角色对白 | 台词、口型同步 | vox.audio.clone(vox.声音克隆)· qwen.tts.voice(千问.文字配音)· ltx.i2v(ltx.图生视频,音图模式) |
| 背景音乐 | 氛围、节奏 | 海螺.歌曲创作、海螺.纯音乐 |
| 音效/旁白 | 增强表现 | 外部音频,或 ltx.i2v(音图模式) |
二、角色对白与配音
用 vox.声音克隆 定制角色音色
- 输入一段该角色的声音样本(或文字)→ 生成该角色的稳定音色。
- 后续所有对白都用该音色,保证配音一致。
口型同步(音画同步关键)
对白镜头要让角色"说话"与声音同步,用音图生视频(首尾帧 + 音频):
ltx.i2v(ltx.图生视频,音图模式):输入该镜头的首帧/尾帧 + 对白音频 → 生成嘴型对上的视频 ✓(对白镜首选)ltx2.3.sef(ltx.首尾帧生视频):只给首尾帧、不喂音频时用它。- ⚠ 海螺侧没有独立的"首尾帧生视频"节点:走统合模板
minimax.h3.t2i—— 连首帧=图生、连首帧+尾帧=首尾帧(模式由连线决定 ✓)
关键:先把对白音频生成好,再把它接入音图生视频节点,模型按音频时长与内容驱动口型。
三、背景音乐
- 海螺.歌曲创作(minimax.music3.song):带歌词的歌曲,适合主题曲。
- 海螺.纯音乐(minimax.music3.instrumental):纯背景乐,适合剧情铺垫。
- 按场景情绪选:紧张→快节奏/低音;温情→慢速/钢琴;反转→突然变奏。
四、音画同步流程
① 写对白文案 → ② vox.声音克隆生成角色音色对白音频 → ③ 音图生视频节点输入(画面 + 对白音频)→ ④ 得到口型同步视频
五、配音规范
- 对白文案:贴合短剧人物性格(霸道总裁/白莲花/搞笑配角),口语化。
- 节奏:短句为主,每句 3~8 秒,留情绪停顿。
- 情绪:在提示词/文案里标注(震惊、愤怒、温柔)。
- 声音克隆样本:3~10 秒清晰人声最佳。
六、避坑
- 先音后画:对白场景务必先生成音频,再音图生视频,否则口型对不上。
- 音频与画面时长匹配:音频时长≈镜头时长,避免画音脱节。
- 不要用文生视频做对白:文生视频不认音频,口型是乱的。
- 纯音乐/歌曲选对情绪:配乐与剧情冲突会出戏。
七、AI 助手提示
- 用户要对白 → 提示先声音克隆 + 生成音频 + 音图生视频。
- 用户要配乐 → 按剧情情绪推荐歌曲/纯音乐模板。
来源:E:/workbuddyProj/unlimitCanvas/ai_manual/short_video/05-音频与配音.md