xAI Grok 官方视频(中文)
40-模型提示词规范 · 2026-08-28 · 5.5 KB
依据与适用范围
官方依据:
- xAI Video Generation: https://docs.x.ai/developers/model-capabilities/video/generation
- xAI Image-to-Video: https://docs.x.ai/developers/model-capabilities/video/image-to-video
- xAI Reference-to-Video: https://docs.x.ai/developers/model-capabilities/video/reference-to-video
- xAI Grok Imagine Video model: https://docs.x.ai/developers/models/grok-imagine-video
- 公开测评案例参考:Tom's Guide 对 Grok Imagine 的 7 个视频提示词测试,https://www.tomsguide.com/ai/ai-image-video/i-tested-sora-2-vs-grok-imagine-with-7-challenging-prompts-and-theres-a-clear-winner
当前 UnlimitCanvas 工作流调用 grok-imagine-video 官方 API,支持三种模式:
| UnlimitCanvas 参数 | 官方模式 | 输入规则 |
|---|---|---|
text_to_video | Text-to-video | 只使用提示词,不使用图片 |
image_to_video | Image-to-video | 使用图像1作为视频第一帧 |
reference_to_video | Reference-to-video | 使用图像1至图像5作为视觉参考 |
官方要求一个请求只能属于一种模式。不要同时要求“图像1作为第一帧”又要求“多图参考融合”,因为官方接口不允许 image 和 reference_images 同时提交。
先读输入,再写提示词
Agent 写提示词前必须确认:
- 当前
generationMode是文生视频、图生视频还是多图参考。 - 节点实际连接了哪些图片输入。
- 用户是否用
@图像1、@图像2等方式说明每张图片的用途。 - 画面比例、分辨率和时长由参数控制,不写进提示词语法。
UnlimitCanvas 图片输入顺序固定:
| 用户说法 | UnlimitCanvas 输入口 | xAI 多图参考提示词写法 |
|---|---|---|
@图像1 / 图像1 | image1 | <IMAGE_1> |
@图像2 / 图像2 | image2 | <IMAGE_2> |
@图像3 / 图像3 | image3 | <IMAGE_3> |
@图像4 / 图像4 | image4 | <IMAGE_4> |
@图像5 / 图像5 | image5 | <IMAGE_5> |
不要凭主观交换图片顺序。用户没有说明某张图用途时,先根据可读到的节点输入和用户文字判断;仍不清楚时,简短询问“图像2希望作为服装、产品、背景还是风格参考?”。
通用视频提示词原则
最终写入节点的提示词应是一段自然语言视频描述,不附加解释、JSON、参数命令或 Markdown。
必须包含:
- 主体是谁或是什么。
- 起始状态。
- 动作顺序,使用“开始时、随后、最后”等时间词。
- 镜头运动,例如固定、推进、拉远、平移、跟随、环绕、手持。
- 环境运动,例如风、衣物、头发、水面、烟雾、灯光变化。
- 需要保持一致的身份、服装、产品结构、Logo、场景或风格。
- 与时长匹配的动作数量。
避免:
- 只写静态画面,例如“一个女孩在海边,电影感”。
- 堆关键词,不写动作关系。
- 使用 Midjourney、Stable Diffusion 或其他模型语法,例如
--ar、权重括号、seed、风格参数。 - 在提示词中写模型名
grok-imagine-video。 - 为短视频塞入过多事件。
推荐结构:
[主体和场景]。[起始状态]。开始时[动作一],随后[动作二],最后[结束状态]。镜头[景别和运动方式]。[环境元素的动态变化]。[光线、色彩、质感和氛围]。整个镜头保持[身份、服装、产品、场景或风格连续性]。
文生视频提示词写法
适用条件:
generationMode = text_to_video- 不连接图片,或用户明确要纯文字生成。
写法重点:
- 完整描述起始画面,因为没有图片提供起点。
- 明确主体动作和镜头运动。
- 让视频在 1 至 15 秒内能完成。
模板:
[主体]位于[场景],[初始姿态或状态]。开始时[动作一],随后[动作二或互动],最后[结束状态]。镜头采用[景别、角度和运动方式],[环境元素如何运动]。[光线、色彩、画面风格和情绪]。保持[主体身份、服装、空间布局或风格]在整个镜头中连续一致。
示例:
一位年轻女孩赤脚站在傍晚海边湿润的沙滩上,白色长裙被海风轻轻吹动。开始时她向镜头方向奔跑,随后放慢脚步并微笑回头,最后停在浅浅海浪边。镜头采用低机位广角跟随拍摄,轻微手持感,海浪、裙摆和发丝随风自然运动。金橙色夕阳逆光勾勒人物轮廓,画面写实、电影感、温暖浪漫。保持人物身份、白裙、海岸线和自然光影连续一致。
图生视频提示词写法
适用条件:
generationMode = image_to_video- 至少连接
图像1。 - 只希望把一张图动画化。
官方含义:
- 图像1会作为视频第一帧。
- 其他图片不会作为参考使用;如果用户连接了多张图,但仍选择图生视频,应提醒用户:当前模式只使用图像1,需要多图时应切换到“多图参考”。
写法重点:
- 不要把提示词写成“参考图像1”,而要写“以输入图像作为第一帧”。
- 不必重复描述整张图,重点写从第一帧开始发生什么。
- 明确哪些元素必须保持,例如人物身份、产品设计、Logo、构图、背景。
模板:
以输入图像作为视频第一帧,保持其中的[人物身份/产品设计/场景布局/关键外观]。开始时[细微自然动作],随后[主要动作],最后[结束状态]。镜头[运动方式],[环境元素如何响应]。动作连续自然,避免无关主体、服装、产品或背景突然变化。
人像示例:
以输入图像作为视频第一帧,保持人物身份、发型、服装、背景和构图一致。开始时人物轻轻眨眼并自然呼吸,随后抬头看向镜头并露出克制的微笑,最后保持温柔注视。镜头缓慢推进,头发和衣料有轻微自然摆动,背景光线稳定。动作连续自然,避免人物五官、服装颜色或场景突然变化。
产品示例:
以输入图像作为视频第一帧,保持产品外形、Logo、材质、比例和摆放位置一致。开始时产品表面出现柔和高光流动,随后镜头缓慢环绕展示侧面细节,最后停在正面英雄视角。背景光线轻微变化,阴影和反射真实自然。不要改变产品文字、标志、结构和颜色。
多图参考提示词写法
适用条件:
generationMode = reference_to_video- 连接一张或多张图片。
- 需要用不同图片分别提供人物、服装、产品、背景、风格、道具等视觉元素。
官方含义:
- 多图参考不会把某一张图锁定为第一帧。
- 参考图会作为视觉引导,帮助视频中出现指定人物、物体、服装或其他元素。
- 官方示例使用
<IMAGE_1>、<IMAGE_2>这类编号来说明每张参考图的用途。
用户怎样 @ 图片
用户可以这样对 Agent 说明:
用 @图像1 的人物,穿 @图像2 的衣服,在 @图像3 的舞台上走秀。
Agent 应写成:
使用 <IMAGE_1> 中的人物,保持其身份、脸部特征和体态;让她穿着 <IMAGE_2> 中的衣服,保持服装颜色、剪裁和材质;使用 <IMAGE_3> 中的舞台作为场景参考。
用户也可以说:
@图像1 是产品,@图像2 是使用场景,@图像3 是整体风格。
Agent 应写成:
使用 <IMAGE_1> 中的产品作为主角,保持产品结构、Logo、颜色和材质;使用 <IMAGE_2> 中的环境作为使用场景参考;采用 <IMAGE_3> 的整体光线、色彩和视觉风格。
多图参考模板
创建一个[视频类型和场景]。使用 <IMAGE_1> 中的[人物/产品/主体],保持[身份、结构、颜色、材质或关键特征];使用 <IMAGE_2> 中的[服装/道具/产品/背景/风格],保持[关键视觉特征];使用 <IMAGE_3> 中的[场景/风格/其他元素]。[继续说明 <IMAGE_4>、<IMAGE_5> 的用途]。开始时[动作一],随后[动作二],最后[结束动作]。镜头[运动方式]。统一所有参考元素的比例、透视、光线、阴影、色温和材质,保持人物、服装、产品和场景在整个视频中一致。
多图参考示例:虚拟试穿
创建一个时尚走秀短片。使用 <IMAGE_1> 中的模特,保持其身份、脸部特征、发型和体态;让模特穿着 <IMAGE_2> 中的上衣,保持衣服颜色、图案、剪裁和材质;使用 <IMAGE_3> 中的白色秀场舞台作为场景参考。开始时模特从舞台后方入口走出,随后自然走到舞台前端并看向镜头,最后停下并露出轻微自信的微笑。镜头缓慢推进并保持平稳。统一人物、服装和舞台的比例、透视、光线和阴影,保持服装细节和人物身份在整个视频中一致。
多图参考示例:产品植入
创建一个写实商业广告短片。使用 <IMAGE_1> 中的饮料瓶作为主产品,保持瓶身形状、Logo、标签文字、颜色和玻璃材质;使用 <IMAGE_2> 中的厨房台面作为环境参考;采用 <IMAGE_3> 的清晨自然光和清爽色彩风格。开始时产品静静放在台面上,随后镜头缓慢从侧面推近,水珠沿瓶身轻微滑落,最后停在清晰正面特写。统一产品与环境的比例、透视、反射和阴影,不要改变 Logo、标签文字和瓶身结构。
多人物多参考
如果多张图分别是不同人物,必须写清楚每个人来自哪张图:
使用 <IMAGE_1> 中的女性角色作为画面左侧人物,保持其脸部特征、发型和服装;使用 <IMAGE_2> 中的男性角色作为画面右侧人物,保持其身份和服装。两人站在咖啡馆门口交谈,开始时女性转头看向男性,随后男性轻轻点头回应,最后两人一起看向街道远处。镜头固定中景,背景人流轻微移动,保持两位角色身份和相对位置一致。
社区案例观察转化为可执行规则
公开社区案例和用户实测中,Grok 视频常见成功方向包括人物动作、产品展示、虚拟试穿、口播式短镜头、奇幻或科幻场景。把这些案例转成 UnlimitCanvas 可控提示词时,应遵循:
- 不只写“酷炫”“电影感”“像广告”,要写出具体镜头和动作。
- 角色一致性任务必须指定“谁来自哪张图”。
- 试穿任务必须指定“人物来自哪张图、衣服来自哪张图、背景来自哪张图”。
- 产品任务必须强调 Logo、文字、结构、材质不要改变。
- 口播或台词任务要写清人物先做什么、何时开口、说哪句话;但不保证视频一定精准同步口型。
- 多图不要写“融合所有图片”,而要逐张分配角色。
- 避免要求生成真实公众人物、未经授权的肖像替换、误导性冒充、色情或其他不安全内容。
参数配合建议
duration:官方范围 1 至 15 秒。5 秒适合一个简单动作;8 至 10 秒适合走动、展示或一句短台词;15 秒适合更完整的镜头运动。resolution:草稿和省钱用 480p,正式输出用 720p。aspectRatio:横屏视频用 16:9,手机短视频用 9:16,头像或产品展示可用 1:1。- 参数由节点设置控制,不要在提示词里写
16:9、720p等命令式语法,除非用户要求把视觉构图写成“竖屏构图”或“横向电影画幅”。
最终自检
写入提示词前检查:
- 是否匹配当前
generationMode? - 文生视频是否完整描述了起始画面和动态过程?
- 图生视频是否只使用图像1作为第一帧,并说明保持哪些元素?
- 多图参考是否把
@图像1..@图像5转成<IMAGE_1>..<IMAGE_5>? - 多图参考是否说明每张图的具体用途?
- 是否有动作顺序、镜头运动和结束状态?
- 是否避免了
--ar、权重语法、模型名、未说明的触发词? - 动作数量是否适合当前时长?
来源:E:/workbuddyProj/unlimitCanvas/ai_manual/model_rules/xai-official-grok-video-prompting.zh-CN.md