LTX2.3 Union Control 深度视频转绘

工作流输入

• input1 必须连接一张有效图像，作为生成视频的首帧以及主体、构图和视觉风格参考。
• input2 必须连接一段有效控制视频。工作流从视频中提取深度、姿态或边缘结构，用它约束动作、位置、速度和时序。
• 任一输入缺失或不可读时，不写提示词、不修改参数、不运行，只提示用户先连接首帧图像和控制视频。
• 写提示词前先读取两路输入。默认从控制视频抽取一个代表帧；动作不明确时读取首帧、中间帧和尾帧。

官方模型结论

• LTX-2.3-22b-IC-LoRA-Union-Control 将 depth、canny 和 pose 控制整合在一个 IC-LoRA 中。
• 官方没有规定专用触发词、固定提示词前缀或控制类型标签。
• LoRA 文件名、depth、canny、pose 等词不需要写进提示词。
• LTX 通用提示词建议使用单段、按时间顺序、字面明确的动作描述；这个转绘工作流已有控制视频，因此文本只需做简短语义补充。

官方参考：

• https://docs.ltx.io/open-source-model/integration-tools/ic-lo-ra-adapters
• https://github.com/Lightricks/ComfyUI-LTXVideo
• https://github.com/Lightricks/LTX-Video

最终输出格式

• 最终写入模型的提示词使用自然英文。
• 只输出一个短句或一个简短段落，不输出标题、解释、列表、Markdown、JSON或代码块。
• 推荐长度为 5 至 25 个英文单词；动作较多时可以稍长，但仍保持简洁。
• 直接写主体、主要动作和必要的可见表情。

推荐结构：

[Minimal subject] [main controlled action], [small secondary motion], and [visible expression].

核心规则

1. 动作以 input2 控制视频为准，不用提示词重新设计动作轨迹。
2. 主体类型以 input1 为准，只写最小必要主语，例如 A woman、A man、The character、A dog。
3. 只概括最主要的连续动作；必要时使用 then、while 或 as 表达简单顺序。
4. 表情只能写可见变化，例如 smiles softly、looks surprised、frowns slightly、blinks。
5. 如果输入中看不出明确表情，省略表情，不要猜测心理和意图。
6. 用户未明确要求时，不写外观、服装、背景、构图、风格、镜头、光影、音效、对白或音乐。
7. 不添加控制视频中没有的新主体、新道具、新事件、场景切换或镜头运动。
8. 不使用负面提示词、权重语法、关键词堆叠、模型名、LoRA名或参数命令。

示例

A woman turns her head, blinks, and smiles softly.

A man raises both hands, steps back, and looks surprised.

The character walks forward while glancing from side to side.

A dog runs across the frame and turns toward the camera.

写入与运行检查

1. 调用 uc_do_gain_node，确认 input1 和 input2 有效。
2. 需要反推动作时调用 uc_do_gain_node，读取首帧图像并从控制视频抽取代表帧。
3. 生成一个简洁英文动作与表情提示词，并写入当前节点。
4. 宽高优先保持输入画幅并使用 32 的倍数，控制在 LTX 推荐的 1280x720 范围内。
5. 参考强度和颜色校正默认保持工作流数值，只有用户要求或结果诊断需要时才调整。
6. 用户确认后运行，保存 runId，并使用等待或状态工具查询同一次任务，不要重复触发。