콘티에서 정한 동작이 영상으로도 잘 읽히는지 확인하려면 먼저 짧은 컷 하나를 만들어 볼 수 있습니다. MBZUAI 산하 기초모델연구소 IFM은 2026년 11월 10일 PAN 2를 공개했습니다. IFM의 코드와 가중치는 Apache 2.0으로 배포됩니다. 모델 카드에서 확인할 수 있는 이미지 투 비디오 입력은 시작 프레임 한 장과 구조화된 프롬프트입니다. 문서상 영상 사양은 높이 704×너비 1248픽셀, 24 fps, 최대 20초입니다.
시작 프레임에는 구도와 소품 위치를 담고, 그다음 프레임은 모델이 생성합니다. 끝 장면까지 정해 둔 컷이라면 목표 구도를 콘티에 남겨 두고 결과와 나란히 비교하세요.
한 컷에서 확인할 동작을 정하기
예시로 파란 모형 기차가 터널로 들어가는 장면을 잡았습니다. 기차가 완전히 들어간 뒤 잠깐 빈 입구를 보여 주면 다음 컷으로 넘길 편집점이 생깁니다. 첫 프레임은 가로 구도로 두고, 낮은 사선에서 기차와 선로, 주황빛 신호등, 터널 입구가 한눈에 보이게 구성합니다.
| 구간 | 피사체 동작 | 카메라 |
|---|---|---|
| 0~2초 | 기차가 신호등 옆에 서 있습니다. | 낮은 사선 앵글을 유지합니다. |
| 2~5초 | 기차가 선로를 따라 움직이고 터널 안으로 완전히 들어갑니다. | 입구를 화면에 둔 채 오른쪽으로 조금 이동합니다. |
| 5~6초 | 입구 앞 선로가 비고 신호등은 켜져 있습니다. | 카메라를 멈추고 1초간 유지합니다. |
설명을 위한 가상의 컷입니다. 표지 이미지는 콘셉트 삽화이며, PAN 2로 영상을 생성하거나 성능을 측정하지 않았습니다.
콘티를 PAN 2 입력으로 바꾸기
- IFM 추론 문서의 이미지 투 비디오 예제에서
image_path에 시작 이미지를 넣고duration_sec를6으로 설정합니다. 공식 런처의 프레임 계산식을 따르면 24 fps에서 145프레임입니다. 다른 추론 도구를 쓴다면 해당 도구의 이미지 및 길이 입력을 확인합니다. - 시작 이미지에 대한 설명과 시간표를 문서에 나온 프롬프트 재작성 도구에 전달합니다.
events의time_range_sec를 훑어보고, 기차가 움직이는 내용과 카메라의camera_motion이 구분돼 있는지 확인합니다. 터널과 신호등은 위치를 판단할 기준으로 남겨 둡니다. 처음에는 예제의 네거티브 프롬프트를 사용해 보세요. IFM 런처는 정리된 최종 프롬프트를 그대로 전달합니다. - Diffusers는 Python 파이프라인을, vLLM-Omni는 자체 서버에서 실행하는 예제를 제공합니다. vLLM-Omni에는 구조화된 JSON을 문자열로 넘깁니다. IFM의 기본 셸 런처는 GPU마다 전체 모델을 한 벌씩 올려 여러 프롬프트를 나눠 처리합니다. 카드 한 장의 메모리가 부족하다면 선택한 환경의 오프로딩이나 모델 병렬화 설정을 확인하세요. IFM은 프롬프트 및 출력 영상용 가드레일을 권장합니다.
편집 타임라인에 올리기 전 확인할 것
먼저 정상 속도로 보면서 기차가 어디로 갔는지 명확히 읽히는지 확인합니다. 2초와 5초 전후에서는 바퀴가 선로를 따라가는지, 신호등 위치가 바뀌지 않는지, 입구에 화면을 고정한 시간이 충분한지 봅니다. 카메라가 입구를 놓쳤다면 시작 이미지와 시드, 나머지 설정을 유지한 채 가운데 구간만 고정 숏으로 바꿔 비교합니다.
IFM 자체 평가에서는 여러 단계로 이루어진 계획의 약 3분의 2에서 적어도 한 단계가 빠졌습니다. 모델 카드에는 클립이 이어질 때 외형이 달라질 수 있다는 한계도 나옵니다. 다음 컷에 같은 기차가 나온다면 확정한 설정을 바탕으로 다음 시작 프레임을 준비하고 편집점 양쪽을 확인하세요. 여러 컷을 정리할 때는 대본을 스토리보드로 바꾸는 작업 흐름과 컷 목록을 활용할 수 있습니다. 이 글은 외부 추론 도구를 기준으로 하며, AniKuku에는 현재 PAN 2가 연동되어 있지 않습니다.
2026년 11월 13일 확인한 자료. IFM 기술 설명 · 공식 모델 카드와 가중치 · 추론 문서.
