∞ UnlimitCanvas 创作工作台
技术手册 / 模型提示词规范 / LTX2.3首尾帧与音频驱动视频

LTX2.3首尾帧与音频驱动视频

40-模型提示词规范 · 2026-10-12 · 2.2 KB
⚠ 模板口径(2026-10-12 收口):它对应的模板(首尾帧+音频)库内已无独立模板 ⇒ 改用 ltx2.3.sef(首尾帧生视频)或 ltx.i2v 音图模式;本文作写法参考保留 ✓

工作流输入

  • input1 是首帧图像,决定起始构图、主体身份、场景、服装、光影和初始姿态。
  • input2 是尾帧图像,决定结束构图、最终姿态、动作落点和画面收束状态。
  • input3 是必需的自定义音频,用作动作同步条件和最终声轨。
  • 写提示词前必须确认三项输入均有效;缺少任一输入时,不写提示词、不修改参数、不运行工作流。

最终写入格式

  • 最终只写入一个自然英文段落。
  • 不添加标题、解释、列表、Markdown、时间戳、分镜编号、参数命令或双引号。
  • 只描述可见表演、连续运动、摄影和视觉质感;不要复述、翻译或改写音频内容。
  • 宽度、高度、时长、种子和细节强度由参数控制,不要加入 --ar、--seed 等命令。

写入流程

  1. 读取 input1,提取首帧的主体、姿态、构图、镜头距离、场景、服装、道具和光影锚点。
  2. 读取 input2,提取尾帧的最终姿态、表情、视线、手部位置、道具状态、构图和动作落点。
  3. 对比两张图,规划中间必须发生的连续可见变化,确保不是硬切或无关场景切换。
  4. 读取 input3 可用的时长、转写或摘要,让嘴部、表情、头部、肩部、手部和身体运动跟随音频的发声、停顿、节奏和强弱。
  5. 如果无法读取音频内容,不猜测语言、台词、情绪、音乐类型或声音事件,使用 the supplied audio 等中性表达。
  6. 按时间顺序组织为:首帧起势 → 音频驱动的连续表演 → 动作逐渐接近尾帧 → 精确自然地收束到尾帧。

推荐段落结构


Starting from the first keyframe, [brief visual anchor]. As the supplied audio begins, [visible synchronized performance and continuous motion]. [Mouth, face, gaze, head, shoulders, hands, body, clothing, objects, and environment respond to the audio rhythm when supported]. The camera [stable behavior or requested motion] while identity, clothing, setting, and lighting remain continuous. The movement gradually transitions toward the final keyframe, resolving naturally into its exact posture, expression, object state, and framing.

不要把方括号、模板说明或标题写入最终提示词。

首尾帧连续性

  • 开头明确从首帧开始,后半段明确动作如何逐渐到达尾帧。
  • 中间动作不能破坏尾帧可达性;主体方向、手部、视线、道具和镜头距离应能自然落回尾帧。
  • 保持身份、服装、场景、主要物体、光影和画面风格连续。
  • 用户未要求明显运镜时,仅使用稳定镜头或有助于首尾帧衔接的轻微运镜。

音频同步规则

  • 输入音频已经决定语言、对白、音乐、环境声、节奏和声音强弱,不要要求生成另一套声音。
  • 有可靠转写或用户提供内容时,可以描述人物如何表演,但不要在提示词中重复完整台词。
  • 发声时保持嘴部清晰可见,口型、下颌、表情和动作与音频同步;停顿时减少嘴部运动。
  • 避免在发声期间遮挡嘴部、背对镜头、大幅转身、快速离开画面或进行影响同步的复杂动作。
  • 视频时长优先覆盖需要使用的音频片段,不要无提示裁切音频。

参数规则

  • value42 和 value43 匹配两张图像的共同方向,优先使用16的倍数;常用横屏为1280x720,竖屏为720x1280。
  • value38 匹配目标音频片段时长,并给首尾帧过渡留出足够时间,范围为2至30秒。
  • noiseSeed17 可在用户要求新变化时调整。
  • strengthModel62 保持默认0.75。

禁止内容

  • 未确认三项输入时生成最终提示词。
  • 将首尾帧写成硬切、转场或两个无关镜头。
  • 猜测、翻译、改写、扩写或完整复述音频内容。
  • 要求新对白、音乐、环境声或音效覆盖输入音频。
  • 无依据改变主体身份、服装、场景、主要物体或光影。
  • 添加模型名、LoRA名、负面提示词、权重括号或关键词堆叠。

执行检查

  1. 确认 input1 和 input2 是有效图像,input3 是有效音频。
  2. 根据两张图像真实内容和音频可用信息生成单段英文提示词。
  3. 设置匹配画面方向的尺寸,并让时长覆盖目标音频片段。
  4. 保持细节强度默认值。
  5. 用户确认后运行,并按 runId 等待结果。

来源:E:/workbuddyProj/unlimitCanvas/ai_manual/model_rules/ltx23-sef-ia2v-prompting.zh-CN.md