LTX2.3首尾帧与音频驱动视频
40-模型提示词规范 · 2026-10-12 · 2.2 KB
⚠ 模板口径(2026-10-12 收口):它对应的模板(首尾帧+音频)库内已无独立模板 ⇒ 改用ltx2.3.sef(首尾帧生视频)或ltx.i2v音图模式;本文作写法参考保留 ✓
工作流输入
input1是首帧图像,决定起始构图、主体身份、场景、服装、光影和初始姿态。input2是尾帧图像,决定结束构图、最终姿态、动作落点和画面收束状态。input3是必需的自定义音频,用作动作同步条件和最终声轨。- 写提示词前必须确认三项输入均有效;缺少任一输入时,不写提示词、不修改参数、不运行工作流。
最终写入格式
- 最终只写入一个自然英文段落。
- 不添加标题、解释、列表、Markdown、时间戳、分镜编号、参数命令或双引号。
- 只描述可见表演、连续运动、摄影和视觉质感;不要复述、翻译或改写音频内容。
- 宽度、高度、时长、种子和细节强度由参数控制,不要加入
--ar、--seed等命令。
写入流程
- 读取
input1,提取首帧的主体、姿态、构图、镜头距离、场景、服装、道具和光影锚点。 - 读取
input2,提取尾帧的最终姿态、表情、视线、手部位置、道具状态、构图和动作落点。 - 对比两张图,规划中间必须发生的连续可见变化,确保不是硬切或无关场景切换。
- 读取
input3可用的时长、转写或摘要,让嘴部、表情、头部、肩部、手部和身体运动跟随音频的发声、停顿、节奏和强弱。 - 如果无法读取音频内容,不猜测语言、台词、情绪、音乐类型或声音事件,使用
the supplied audio等中性表达。 - 按时间顺序组织为:首帧起势 → 音频驱动的连续表演 → 动作逐渐接近尾帧 → 精确自然地收束到尾帧。
推荐段落结构
Starting from the first keyframe, [brief visual anchor]. As the supplied audio begins, [visible synchronized performance and continuous motion]. [Mouth, face, gaze, head, shoulders, hands, body, clothing, objects, and environment respond to the audio rhythm when supported]. The camera [stable behavior or requested motion] while identity, clothing, setting, and lighting remain continuous. The movement gradually transitions toward the final keyframe, resolving naturally into its exact posture, expression, object state, and framing.
不要把方括号、模板说明或标题写入最终提示词。
首尾帧连续性
- 开头明确从首帧开始,后半段明确动作如何逐渐到达尾帧。
- 中间动作不能破坏尾帧可达性;主体方向、手部、视线、道具和镜头距离应能自然落回尾帧。
- 保持身份、服装、场景、主要物体、光影和画面风格连续。
- 用户未要求明显运镜时,仅使用稳定镜头或有助于首尾帧衔接的轻微运镜。
音频同步规则
- 输入音频已经决定语言、对白、音乐、环境声、节奏和声音强弱,不要要求生成另一套声音。
- 有可靠转写或用户提供内容时,可以描述人物如何表演,但不要在提示词中重复完整台词。
- 发声时保持嘴部清晰可见,口型、下颌、表情和动作与音频同步;停顿时减少嘴部运动。
- 避免在发声期间遮挡嘴部、背对镜头、大幅转身、快速离开画面或进行影响同步的复杂动作。
- 视频时长优先覆盖需要使用的音频片段,不要无提示裁切音频。
参数规则
value42和value43匹配两张图像的共同方向,优先使用16的倍数;常用横屏为1280x720,竖屏为720x1280。value38匹配目标音频片段时长,并给首尾帧过渡留出足够时间,范围为2至30秒。noiseSeed17可在用户要求新变化时调整。strengthModel62保持默认0.75。
禁止内容
- 未确认三项输入时生成最终提示词。
- 将首尾帧写成硬切、转场或两个无关镜头。
- 猜测、翻译、改写、扩写或完整复述音频内容。
- 要求新对白、音乐、环境声或音效覆盖输入音频。
- 无依据改变主体身份、服装、场景、主要物体或光影。
- 添加模型名、LoRA名、负面提示词、权重括号或关键词堆叠。
执行检查
- 确认
input1和input2是有效图像,input3是有效音频。 - 根据两张图像真实内容和音频可用信息生成单段英文提示词。
- 设置匹配画面方向的尺寸,并让时长覆盖目标音频片段。
- 保持细节强度默认值。
- 用户确认后运行,并按
runId等待结果。
来源:E:/workbuddyProj/unlimitCanvas/ai_manual/model_rules/ltx23-sef-ia2v-prompting.zh-CN.md