三格手绘分镜表现蓝色模型火车在信号灯旁停留、驶进隧道,以及火车离开后的空镜。
精选
阅读约 3 分钟
UllrAI Lab

PAN 2 图生视频:用一张分镜做 6 秒镜头预演

用一张分镜首帧试拍 PAN 2 镜头,拆开写动作和运镜时间,核对运行方式、剪辑停顿与跨镜连续性。

想知道一张分镜动起来之后,动作交代得清不清楚,可以先用 PAN 2 试一个镜头。MBZUAI 的基础模型研究所 IFM 于 2026 年 11 月 10 日正式发布 PAN 2,并以 Apache 2.0 开放自有权重与代码。模型卡给出的图生视频输入是一张起始帧加结构化提示词,文档规格为高 704、宽 1248 像素,24 帧/秒,单段最长 20 秒。

首帧能交代构图和道具位置,后续画面由模型生成。想精确落到指定尾帧,或保证前后两镜角色与场景完全接得上,仍要在分镜里保留对应画面,剪在一起核对。

先确定这个镜头要看什么

假设一列蓝色模型火车要驶入隧道,画面得留出一拍,让观众看明白火车已经过去。选一张横构图作首帧:火车朝向洞口,两条铁轨清楚地通进去,轨道旁有一盏琥珀色信号灯。先写清动作发生的时段,再决定摄影机什么时候动。

时间画面里的动作运镜
0–2 秒火车停在信号灯旁。低机位斜侧拍,保持固定。
2–5 秒火车沿铁轨驶入,整辆车没入隧道。轻微向右跟移,让洞口留在画面里。
5–6 秒洞口前空了,信号灯仍是琥珀色。停住机位,留一秒给剪辑。

这是教学用镜头方案。封面是概念插画,本文没有用 PAN 2 渲染或跑分。

从镜头表整理出提示词

  1. 先从 IFM 的图生视频示例起步。把 image_path 指向首帧图,duration_sec 设为 6。按原仓库启动器的规则,24 帧/秒的 6 秒请求对应 145 帧。换运行方式时按对应文档填写图像与时长。
  2. 把首帧描述和时间表交给官方文档里的提示词改写器,写成同一镜头内的事件。核对 events 里的 time_range_sec,看火车的动作有没有被写进运镜字段。摄影机的变化写入 camera_motion,铁轨、洞口和信号灯作为场景里的固定参照。第一次沿用所选运行方式提供的负面提示。原仓库启动器会把最终提示直接交给模型。
  3. 按设备选运行方式。Diffusers提供 Python 流水线,vLLM-Omni提供自建推理服务的示例,要求把结构化 JSON 序列化成提示文本。原仓库的基础 shell 启动脚本会在每张卡上加载一份完整模型,用多卡分摊不同提示。若要解决单卡显存问题,查所选运行方式的卸载或模型并行选项,并按 IFM 建议使用输入与输出审核组件。

看完一遍,再停在关键帧检查

先按正常速度播放,确认能否看懂火车去了哪里。再看第 2 秒和第 5 秒附近,检查车轮有没有离开铁轨、信号灯是否换边、摄影机停住后是否留出了剪辑点。火车走对了但洞口出了画,就固定首帧、随机种子和其余设置,只把中段改为固定机位,再看两版差别。

IFM 的模型卡提到,在其多步骤模拟评测中,约三分之二的方案至少漏了一步,连续生成多个片段还可能出现外观漂移。下一镜要接同一辆火车时,可以从确认过的设定另做首帧,再把两个片段放在时间线上看接点。需要完整镜头表,可以从剧本转分镜工作流里的可编辑模板开始。本文使用外部推理路径,AniKuku 当前未接入 PAN 2。

2026 年 11 月 13 日核对。IFM 技术说明 · 官方模型卡与权重 · 推理指南。

从剧本开始制作分镜和动画

在一个项目中完成剧本、镜头清单、角色设定、分镜和动画片段。