信号の横で止まる青い模型列車、トンネルへ入る列車、通過後の入口を描いた3コマの絵コンテ。
注目
約 3 分で読めます
UllrAI Lab

PAN 2で画像から動画を生成|絵コンテ1枚で6秒のカットを試す

絵コンテを開始フレームに使い、被写体の動きとカメラワークを秒数で指定。PAN 2でカットを仮作成するときの入力と確認点を紹介します。

絵コンテで決めた動きが画面で伝わるか、編集前に短いカットで確かめたいことがあります。MBZUAIの基盤モデル研究所(IFM)が2026年11月10日に公開したPAN 2では、開始フレーム1枚と構造化したプロンプトから動画を生成できます。IFMのコードとモデル重みはApache 2.0です。モデルカードに記載された仕様は、高さ704×幅1248ピクセル、24 fps、最長20秒です。

まずは被写体の動きとカメラのタイミングが合うかを確認する、プリビズの用途から始めます。入力画像が条件になるのは開始フレームです。終わりの構図まで指定したい場合は、絵コンテに終端の画を残し、出力と見比べます。

6秒のカットに芝居とカメラを割り当てる

青い模型列車がトンネルに入るカットを想定します。列車が完全に隠れてから一拍置くと、次のカットに切り替えやすくなります。開始フレームは横長で、低めの斜め位置から列車と線路、琥珀色の信号、トンネルの入口が見える構図にします。

尺画面内の動きカメラ
0〜2秒列車は信号の横で停車。低めの斜め位置で固定。
2〜5秒線路に沿って進み、最後尾までトンネルに入る。入口を画面に残して、ゆるやかに右へ移動。
5〜6秒入口の手前から列車が消え、信号だけが点灯。移動を止めて1秒キープ。

これは説明用のカット案です。表紙はコンセプトイラストで、PAN 2での生成や性能測定は行っていません。

開始フレームと時間指定を渡す

IFMの推論ガイドにある画像入力のサンプルを使う場合は、image_path に絵コンテの1枚目を指定し、duration_sec を 6 にします。公式ランチャーの計算式では、24 fpsで6秒を指定すると145フレームになります。別の実行環境では、そちらの入力欄と尺の指定方法を確認してください。

時間表と開始画の説明は、公式ガイドにあるプロンプトの書き換え手順で構造化します。events の time_range_sec に各区間があり、列車の移動と camera_motion が別々に書かれているか確認します。トンネルと信号は位置が変わらない目印です。最初は実行環境のサンプルに付属するネガティブプロンプトを使います。IFMのランチャーは最終プロンプトをそのまま渡します。

Pythonで試す場合は Diffusers、自前の推論サーバーなら vLLM-Omni の手順を参照できます。vLLM-Omniには構造化JSONを文字列にして渡します。IFMの基本シェルスクリプトはGPUごとにモデル一式を読み込んで、別々のプロンプトを処理します。VRAMに収まるか心配な場合は、使う環境のオフロードやモデル並列の設定を確認してください。IFMは入力と生成動画を検査するガードレールの利用を推奨しています。

つなぎに使えるかを確認する

まず再生し、列車の進行とトンネルに隠れる瞬間が分かるか見ます。次に2秒と5秒の前後を止めて、列車がレールから外れていないか、信号の位置がずれていないか、カメラが止まってからカットできる尺があるかを確認します。入口がフレームアウトした場合は、画像とシード、ほかの設定をそろえ、真ん中の区間だけ固定カメラにした案を比べます。

IFMの評価では、複数の手順を含む計画のおよそ3分の2で、少なくとも1つの手順が抜けました。モデルカードでは、カットを重ねるうちに見た目がずれることも挙げています。次も同じ列車を映すなら、確定した設定画から次の開始画を起こし、カットの前後を並べて見ます。脚本から絵コンテを作る手順とカットリストは、複数カットをまとめて整理する場合に使えます。この記事は外部の推論環境を対象とし、AniKukuは現在PAN 2に対応していません。

参照資料(2026年11月13日確認)。IFM技術解説 · 公式モデルカードと重み · 推論ガイド。

脚本から絵コンテと動画を制作

脚本、カット割り、再利用できるキャラクター、絵コンテ、動画クリップを1つのプロジェクトで制作できます。