あなたが撮った動画も「新海誠風」画像に！ 自動生成の進化がすごい

さっそく挑戦！　動画を漫画へ変換

Comixifyの研究者らが公開したサイトがComixify.aiだ。

Comixifyで提案された手法を用いて、オンライン上で任意の動画を変換できる。難しい作業はなく、手持ちの動画をアップロードするか、YouTubeのURLをコピー＆ペーストするだけだ。

実際に次の動画をComixify.aiのサイトで変換してみた。

動画をアップロードした後に、待つこと数秒。次のような画像が表示された。

拡大画像表示

動画からフレームを選び取り、漫画風のスタイルに変換できている。

重要なフレームを見極める

Comixifyの仕組みは、主に2段階の工程に分けて考えられる。

ひとつめは「キーフレーム抽出」という、何百ものフレームから構成されている元動画から、重要なフレームを10枚ほど抽出する工程。

もうひとつは「スタイル変換」と呼ばれる抽出されたフレームを漫画風に変換する工程だ。

キーフレーム抽出の工程では、以下の流れでキーフレームを抽出する。