手上已經有分鏡圖,可以拿 PAN 2 試看一個動作在畫面上是否交代得清楚。MBZUAI 的基礎模型研究所 IFM 在 2026 年 11 月 10 日發布 PAN 2,自有權重與程式碼採 Apache 2.0 授權。依模型卡,圖生影片可輸入一張起始影格和一份結構化描述,文件所列的影片規格是高 704、寬 1248 像素,每秒 24 格,單段最長 20 秒。
起始影格能指定開場構圖,後面的畫面交由模型生成。若交件時需要精準對上指定的結尾影格,可以先把那張圖留在分鏡稿裡,等生成後再比對。
把六秒預演拆成三段
例如,一輛藍色模型火車要開進隧道。預演先回答一個剪接問題:火車完全進去後,洞口還能不能停留一拍?起始影格用橫幅,從低處斜拍,讓觀眾看得到火車朝向、通往洞口的軌道,以及旁邊亮著的琥珀色號誌。
| 秒數 | 畫面動作 | 攝影機 |
|---|---|---|
| 0–2 秒 | 火車停在號誌旁。 | 低角度斜拍,固定構圖。 |
| 2–5 秒 | 火車沿軌道前進,整輛進入隧道。 | 稍向右跟拍,洞口留在畫面裡。 |
| 5–6 秒 | 洞口前的軌道空了,號誌還亮著。 | 停下運鏡,保留一秒作剪接。 |
這是未送交模型生成的教學範例。封面為概念插畫,也未做速度或畫質測試。
把分鏡交給 PAN 2
- 設定起始影格和片長。 依 IFM 推論指南使用圖生影片範例,把圖檔填入
image_path、把duration_sec設成6。官方啟動腳本在每秒 24 格下,這個請求會算出 145 格。其他推論工具請以各自的輸入欄位為準。 - 整理成帶時間的事件。 讓文件所列的提示詞改寫器把起始構圖與上表整理成結構化描述。核對
events的time_range_sec,把火車行進與camera_motion的移動分別寫清楚。把洞口、軌道與號誌當成固定參照。官方啟動腳本會直接使用整理後的提示詞,初次可沿用範例的負面提示詞。 - 先確認推論環境。 Diffusers有 Python 範例,vLLM-Omni有自建服務做法,後者把結構化 JSON 序列化成提示文字。IFM 的基本 shell 啟動腳本會在每張 GPU 各載入一份完整模型,多卡用來分配不同請求。若要降低每張卡的記憶體負擔,請依所選工具查可用的卸載或模型平行設定。IFM 建議搭配提示詞和影片審核元件。
用剪接點驗收初稿
正常速度看完一次,再拉到第 2 秒和第 5 秒附近逐格檢查。車輪有沒有一直沿著軌道?號誌是否還在同一邊?鏡頭停下後,洞口有沒有留在畫面裡?如果問題出在跟拍,保留同一張圖、種子值和其他設定,只把中段改成固定鏡位,兩版放在一起看。
依 IFM 的模型卡,團隊自己的多步驟評估約有三分之二至少漏掉一個步驟,多段接續時也可能出現外觀偏移。下一鏡如果還要用同一輛火車,先從確認過的設定圖準備新的起始影格,再檢查接點兩側。完整場次可先用劇本轉分鏡的鏡頭表規劃。此教學採外部推論方式,AniKuku 目前沒有整合 PAN 2。
