OpenAIのSoraを使ってみた【応用編】

１．はじめに

こんにちは。NI＋Cの長嶺です。
前回「OpenAIのSoraを使ってみた【導入編】」では、Soraの概要や実際に動画を生成した感想をお伝えしました。

今回は、応用編ということで「Sora」の機能紹介と各機能を使用して前回生成した動画を
ブラッシュアップしていきたいと思います。。
今回も「ChatGPT Plus」のプランを使用して動画を生成していきます。

２．Soraの機能

Soraには様々な編集機能があり、この機能を使用して既存の動画の編集や再構成も直感的かつ柔軟に行うことが可能になります。

Soraの機能について、以下の通りです。

機能名	説明
Storyboard	複数のシーンをタイムライン上で組み合わせ、動画全体の構成を視覚的に整理・編集する機能。 複雑な物語の演出やシーンの順序を直感的に管理することが可能。
Recut	動画の特定部分を基点に、その前後のシーンを新たに生成・拡張する機能。シーンの流れやテンポを柔軟に調整することが可能。
Remix	既存の動画内の要素(背景、被写体、オブジェクト)をテキスト指示で置き換えや削除が可能な機能。動画の特定部分を自在に再構築が可能。
Blend	2つの異なる動画を自然に融合させ、一つのシームレスなクリップに結合する機能。 異なるシーンやスタイルを滑らかに組み合わせ、新しい映像表現を実現する。
Loop	動画の特定部分をシームレスにループ再生できるように編集する機能。 開始フレームと終了フレームを自然につなぎ、途切れのない繰り返し動画が作成可能。

３．Storyboardの活用

Storyboardを使用して、前回生成したパンダの動画を編集していきます。
Storyboardは、複数のシーンをタイムライン上で組み合わせることができるので、既存の動画をもとに３つのシーンを追加してみたいと思います。

まずは、Storyboardを選択して、既存の動画を取り込みます。
　初回は、「Use Storyboard」をクリックします。

「＋」ボタンから「Choose from library」を選択し、保存してある動画を選択

取り込んだ動画をもとにタイムラインに3つのシーンをプロンプトに追加し、１０秒の動画を生成します。

タイムラインに以下の３つのシーンを追加します。
①ダンスフロアの左右からパンダが登場し、３匹のパンダが一緒に同じダンスを楽しく踊る。
②激しい動きのダンスに変わり、パンダが素早くダンスを踊る。
③最後はパンダがバク転して、ダンスが終了する。

ここでポイントは、プロンプトの日本語を英語にすることでより詳細に表現できます。
プロンプト右下の赤枠の「Expand caption」をクリックするとAIが最適なプロンプトに英語でアップデートしてくれます。短い指示文が長文の英語にアップデートされました。

各シーンのプロンプトが以下のような最適化された形でアップデートされます。(※作成された英語を再翻訳)
①
鮮やかでカラフルなスポットライトの下、ネオンブルーとピンクの色合いが変化しながら輝くダンスフロアが現れる。パンダは左右からフレームに入り、流れるような動きで遊び心たっぷりにフロアに足を踏み入れる。中央にいる3頭のパンダに焦点が移り、シームレスに動き回る。彼らのシンクロしたダンスは陽気で明るく、ダイナミックな照明の下で喜びと気まぐれの要素を加えている。周囲の空間は暗く、ダンスフロアと生き生きとしたパンダのセンターステージとなっている。

②
照明が強まり、脈打つようなネオンがシーンを盛り上げる。3頭のパンダがより激しくエネルギッシュなダンスに切り替わり、その動きはより速く、より躍動的になる。 シンクロした振り付けは正確を極め、パンダたちはますますアップビートなリズムに素早くついていく。ディスコ・ボールは、フロアに鮮やかな散乱光を反射させ、エネルギッシュな雰囲気を増幅させる。 遊び心にあふれた雰囲気は、パンダの素早い一連の動きによってさらに盛り上がり、その器用さと魅力を示している。

③
鮮やかなネオンのスポットライトの下で、パンダが突然印象的なバク転を始めると、ルーティンはスリリングなクライマックスを迎える。彼らの動きはスムーズで完璧にリハーサルされており、シンクロした技巧で着地し、ルーティンを爽快に締めくくる。光り輝くダンスフロアは一瞬明るく脈打ち、ネオンの色彩が祝福の光に溶け込む。音楽が終わると、パンダたちは勝利のポーズをとり、ダイナミックなステージの余韻が残る中、エネルギッシュなパフォーマンスは終わりを告げる。このシーンは喜びと満足感で満たされ、観客は彼らのアクロバティックなフィナーレに畏敬の念を抱く。

Storyboardでタイムラインにシーンを追加した動画が以下です。

４．Recut

Recutを利用して動画の不要部分を排除します。排除した前後のシーンは自動で新たに再生成されます。
今回は、冒頭部分に画像から生成した際のパンダの画像が残っているので、この部分を削除し、ダンスシーンから始まるようにRecutします。

対象の動画を選択し、「Recut」から「Slip」を選択し、タイムラインのスライドから対象の部分を選択します。
除外された部分は、自動でAIが動画を再生成します。

こちらがRecutの動画です。ダンスシーンから始まるように編集されました。

５．Remixの活用

Remixを使用して、パンダの動画を熊に変更してみます。Rimixは、既存の動画内の要素(背景、被写体、オブジェクト)をテキスト指示により、置き換えや削除が可能になります。
分かりやすいように被写体をパンダから熊に変更して、動画を生成します。

対象の動画を選択し、「Remix」をクリックします。プロンプトに「パンダを熊に変更する」と指示し、
「Remix」を実行。

被写体のパンダが熊に変更された動画が生成されました。

６．Blendの活用

Blendを使用して、2つの異なる動画を自然に融合させた動画を生成します。事前に砂漠の砂嵐の動画を生成しておきます。「パンダのダンス」と「砂漠の砂嵐」の２つの動画を融合してみます。

事前にテキストから作成した砂漠の砂嵐の動画がこちら

パンダの動画を選択し、砂漠の動画とBlendしていきます。
Blendボタンから「Choose from library」を選択して、生成した砂漠の動画を選択します。

「Transition」を選択し、パンダの動画と砂漠の動画をシームレスに繋げてみます。

パンダのダンスが砂漠と融合した幻想的な動画が生成されました。

７．Loopの活用

Loopを利用して、パンダ動画の後半のバク転シーンをシームレスにループ再生する動画を作成します。

作成にあたり、10秒のパンダ動画から「Recut」を使用して、後半のバク転部分のみの5秒動画を生成します。
バク転シーンの動画に対して、「Loop」を実行します。

生成されたバク転シーンの５秒動画を選択し、Loopを選択します。
loopタイプは、追加の長さによって、「Long loop」、「Nomal」、「short」があります。

パンダのバク転シーンがループする動画が生成されました。

８．まとめ

Soraの各編集機能を使用して、既存の動画から様々な動画を再生成できました。
導入編でも触れたように、Soraの動画生成は、難しい操作なく、誰でも簡単に動画を生成することができます。
各編集機能についても、簡単な操作で編集ができることが分かりました。

編集機能も組み合わせて使用することで、よりイメージに合った動画生成が可能になると思います。
まだ、細かい部分で自分のイメージ通りに編集できないと感じる部分は有りますが、使用していくうちに細かな部分もプロンプトの調整や各編集機能の組み合わせで、改善できるのではないかと思います。

Soraの操作は簡単なので、実際に色々試しながら、イメージに近い動画を生成していければと思います。