LTX2.3单人图像与音频驱动视频
40-模型提示词规范 · 2026-10-12 · 2.0 KB
⚠ 模板口径(2026-10-12 收口):它对应的模板ltx.i2v已被统合模板ltx.i2v取代(音图模式:接音频驱动口型)⇒ 实际作业用ltx.i2v;本文作写法参考保留 ✓
官方能力边界
LTX官方将Audio-to-Video定义为:上传音频,并可选提供首帧图像,再用提示词说明图像应如何动起来。音频是必需输入,提示词使用普通自然语言,没有IA2V专用标签、时间戳或特殊权重格式。
当前工作流进一步要求:
input1必须连接人物图像。input2必须连接自定义音频。- 输入音频作为动作同步条件和最终声轨,提示词不负责重新生成音频。
严格输出格式
- 最终只输出一个简洁的英文自然语言段落。
- 不添加标题、解释、列表、Markdown、时间戳或参数命令。
- 只描述可见表演、摄影和运动连续性,不复述或改写音频内容。
推荐结构
[The person] performs naturally in sync with the supplied [spoken audio / singing / music]. [Mouth and facial synchronization]. [Head, eye, shoulder, hand, or upper-body movements]. [Visible changes following the audio rhythm and intensity]. [Camera behavior only when requested]. [Lighting, identity, background, and motion continuity].
音频处理规则
- 输入音频已经决定语言、对白、音乐、环境声、节奏和声音强弱,不要要求模型生成另一套声音。
- 有可靠转写或用户提供台词时,可以描述人物正在自然表演这些内容,但不要把完整台词再次写进提示词。
- 无法读取音频内容时,不猜测语言、台词、情绪、音乐类型或具体声音事件;使用
the supplied audio或the spoken audio等中性表述。 - 视觉动作应跟随输入音频的停顿、节奏和强弱,例如在停顿时减少嘴部动作,在强调处加入适度表情或手势。
- 视频时长优先匹配需要使用的音频片段。不要无提示地裁切音频。
单人表演规则
- 以嘴部同步、眨眼、视线、头部、肩部和轻微上半身动作作为主要运动。
- 动作自然克制,避免大幅转身、快速走动、遮挡嘴部或离开画面。
- 保持人物身份、服装、背景、构图和光线连续。
- 用户未要求摄影机运动时保持稳定镜头。
- 情绪使用可见表情和肢体动作表达,不解释人物内心或意图。
示例
The woman speaks naturally in sync with the supplied Mandarin audio, maintaining clear and accurate mouth movement throughout each phrase. She blinks softly, makes small head tilts and restrained shoulder movements, and briefly shifts her gaze during pauses before returning to the camera. Her facial expression and subtle hand gestures follow the rhythm and emphasis of the speech while her seated posture remains stable. The camera stays fixed, with consistent daylight, identity, background, and smooth facial motion.
参数规则
- 横屏建议
1280x720,竖屏建议720x1280,匹配输入图像方向。 - 长边不超过1280,短边不超过720,总像素不超过921600,优先使用16的倍数。
value294优先匹配输入音频目标片段时长。- 帧率保持24 FPS,细节强度保持0.75。
执行检查
- 确认
input1是有效图像,input2是有效音频。 - 理解人物构图和用户要求;有可靠音频摘要时再据此规划表演。
- 写入一个英文视觉表演段落,不编造或重复音频内容。
- 设置匹配图像方向的尺寸,并让时长覆盖目标音频片段。
- 用户确认后运行并按
runId等待结果。
来源:E:/workbuddyProj/unlimitCanvas/ai_manual/model_rules/ltx23-ia2v-single-prompting.zh-CN.md