想知道一张分镜动起来之后,动作交代得清不清楚,可以先用 PAN 2 试一个镜头。MBZUAI 的基础模型研究所 IFM 于 2026 年 11 月 10 日正式发布 PAN 2,并以 Apache 2.0 开放自有权重与代码。模型卡给出的图生视频输入是一张起始帧加结构化提示词,文档规格为高 704、宽 1248 像素,24 帧/秒,单段最长 20 秒。
首帧能交代构图和道具位置,后续画面由模型生成。想精确落到指定尾帧,或保证前后两镜角色与场景完全接得上,仍要在分镜里保留对应画面,剪在一起核对。
先确定这个镜头要看什么
假设一列蓝色模型火车要驶入隧道,画面得留出一拍,让观众看明白火车已经过去。选一张横构图作首帧:火车朝向洞口,两条铁轨清楚地通进去,轨道旁有一盏琥珀色信号灯。先写清动作发生的时段,再决定摄影机什么时候动。
| 时间 | 画面里的动作 | 运镜 |
|---|---|---|
| 0–2 秒 | 火车停在信号灯旁。 | 低机位斜侧拍,保持固定。 |
| 2–5 秒 | 火车沿铁轨驶入,整辆车没入隧道。 | 轻微向右跟移,让洞口留在画面里。 |
| 5–6 秒 | 洞口前空了,信号灯仍是琥珀色。 | 停住机位,留一秒给剪辑。 |
这是教学用镜头方案。封面是概念插画,本文没有用 PAN 2 渲染或跑分。
从镜头表整理出提示词
- 先从 IFM 的图生视频示例起步。把
image_path指向首帧图,duration_sec设为6。按原仓库启动器的规则,24 帧/秒的 6 秒请求对应 145 帧。换运行方式时按对应文档填写图像与时长。 - 把首帧描述和时间表交给官方文档里的提示词改写器,写成同一镜头内的事件。核对
events里的time_range_sec,看火车的动作有没有被写进运镜字段。摄影机的变化写入camera_motion,铁轨、洞口和信号灯作为场景里的固定参照。第一次沿用所选运行方式提供的负面提示。原仓库启动器会把最终提示直接交给模型。 - 按设备选运行方式。Diffusers提供 Python 流水线,vLLM-Omni提供自建推理服务的示例,要求把结构化 JSON 序列化成提示文本。原仓库的基础 shell 启动脚本会在每张卡上加载一份完整模型,用多卡分摊不同提示。若要解决单卡显存问题,查所选运行方式的卸载或模型并行选项,并按 IFM 建议使用输入与输出审核组件。
看完一遍,再停在关键帧检查
先按正常速度播放,确认能否看懂火车去了哪里。再看第 2 秒和第 5 秒附近,检查车轮有没有离开铁轨、信号灯是否换边、摄影机停住后是否留出了剪辑点。火车走对了但洞口出了画,就固定首帧、随机种子和其余设置,只把中段改为固定机位,再看两版差别。
IFM 的模型卡提到,在其多步骤模拟评测中,约三分之二的方案至少漏了一步,连续生成多个片段还可能出现外观漂移。下一镜要接同一辆火车时,可以从确认过的设定另做首帧,再把两个片段放在时间线上看接点。需要完整镜头表,可以从剧本转分镜工作流里的可编辑模板开始。本文使用外部推理路径,AniKuku 当前未接入 PAN 2。
