reference to video

reference to videoとは？

reference to videoは、1つ以上のソース素材をクリエイティブな根拠として使用する、ウェブベースのAI動画生成ワークフローです。テキストプロンプトに顔、商品、服装、動き、カメラスタイル、音を一度に覚えさせるのではなく、各リファレンスが新しく構成されるショットの特定の部分を定義します。ソースには、アイデンティティ、商品、服装、スタイルのための画像、動きやカメラの挙動のための動画、声、音楽、タイミングのための音声が含まれます。

優れた結果は、ソースをフレーム単位で再現するものではありません。連続性を生み出す詳細を保持しつつ、設定、アクション、フレーミング、ストーリービートを変更できるようにします。このページでは、エピソードクリエイター、AIインフルエンサー、商品キャンペーン、アニメキャラクター、ファッションシーケンス、ミュージックビデオ、ブランドワールド向けのツールとして位置づけています。プロンプトのみの生成との違いは「コントロール」と説明されています。リファレンスはショット全体を通してアクティブであり続け、何を認識可能に保つ必要があり、何を変更できるかを定義します。

reference to videoの使い方

クリーンなリファレンスをアップロードする

プロジェクトは、アイデンティティ、商品、服装、スタイルのための明確な画像から始まります。動き、カメラ、声、タイミングに寄与する場合は、短い動画や音声のリファレンスも追加します。

すべてのリファレンスに役割を割り当てる

プロンプトで、@Image1、@Video1、@Audio1が何を制御するかをモデルに伝え、変化してはいけないアクション、設定、カメラ、詳細を記述します。

生成して一貫性を確認する

結果は、顔、衣装、商品の形状、役割、動き、音声のタイミングについて確認します。このページでは、一度に1つの指示を変更することを推奨しています。

reference to videoの主な機能

キャラクターのアイデンティティ制御

アイデンティティリファレンスは、新しいシーンを通じて顔、髪、体型、特徴的なディテールを認識可能に保つことを目指します。

商品の外観制御

商品リファレンスは、新しいショットで形状、色、素材、パッケージ、ラベルの配置を保持するために使用されます。

動きとパフォーマンスのガイダンス

短い動画リファレンスは、ジェスチャー、タイミング、身体の動き、パフォーマンスのエネルギーを導くことができます。

カメラワークのガイダンス

リファレンスクリップは、テキストで説明するのが難しいパン、オービット、プッシュイン、ハンドヘルドの動きを伝えることができます。

シーンとスタイルのリファレンス

ソースは、場所、照明の言語、パレット、視覚世界を新しく構成されたショットに持ち込むことができます。

音声とタイミングのリファレンス

音声リファレンスを受け入れるモデルでは、音声が会話、声、音楽、ビート、アクションのタイミングを導くことができます。

複数のサポートモデル

コンポーザーはSeedance 2.0 Mini、2.0 Fast、2.5、MiniMax H3、Gemini Omni Flash 1.1で動作します。Seedance 2.0とMiniMax H3は最大9枚の画像、3本の動画、3つの音声ファイルを受け入れます。Seedance 2.5は最大30枚の画像、10本の動画、10の音声ファイルを受け入れます。Omni Flash 1.1は7つの重み付きリファレンススロットを使用し、1本の動画が2スロットを使用し、動画は1本のみ許可されます。コンポーザーは有効な制限を検証します。

reference to videoのユースケース

異なるシーンで同じキャラクター

1つのアイデンティティリファレンスで、場所やカメラアングルが変わっても同じ顔、髪型、服装、プロポーションを維持することを意図しています。

複数キャラクターのストーリー

別々のキャラクターリファレンスとシーンリファレンスを組み合わせ、インタラクションを通じて顔、服、役割を明確に保ちます。

商品と人物のUGC広告

1人のクリエイターと1つの商品が、寝室でのレビューからバスルームでのデモンストレーションへなど、人物を変えたりパッケージを再設計したりせずに設定間を移動できます。

ファッションと服装の一貫性

全身のリファレンスで、生成されたシーンを通じて衣服、素材、色、アクセサリーを固定できます。

キャンペーン間の商品一貫性

形状、ブランディング、色、素材を明確に示す商品リファレンスは、クリエイター、環境、アクション、カメラが変更されても再利用できます。

アニメ、マスコット、音楽パフォーマンスのショット

このページでは、アニメ/OCキャラクター、マスコットやゲームキャラクター、ミュージックビデオのパフォーマーを連続性ワークフローとして挙げています。

reference to videoに関するよくある質問

reference to video AIとは？

1つ以上のソース素材から新しい動画を生成します。画像は人物、商品、服装、シーン、スタイルを定義できます。動画は動きやカメラの挙動を導くことができます。音声は声、音楽、タイミングを導くことができます。プロンプトはすべてのリファレンスに役割を割り当てます。

どのようにキャラクターの一貫性を保ちますか？

クリーンなアイデンティティ画像は、顔の構造、髪、プロポーション、特徴的な詳細についてモデルに安定した根拠を与えます。追加のリファレンスで衣装や別の角度を定義できます。プロンプトでキャラクターを一度名前で呼び、矛盾するポートレートを避けると一貫性が向上します。

reference to videoとimage to videoの違いは何ですか？

image to videoは通常、1枚の静止画をアニメーション化し、それを開始フレームとして扱います。reference to videoは、複数の画像、動画、音声ファイルを組み合わせ、新しく構成されたショット全体を通じてアイデンティティ、商品、動き、カメラ、スタイル、タイミングを導き続けることができます。

画像、動画、音声を組み合わせられますか？

はい。サポートされているモデルは、画像、動画、音声のリファレンスを一緒に受け入れることができます。画像はアイデンティティや外観に、短い動画は動きやカメラの方向に、音声は会話、声、ビート、ペースに使用されます。

どのような画像が最適ですか？

被写体が検査できるほど大きく、照明が中立で、遮るものが最小限の鮮明な画像です。キャラクターの場合、正面または斜め前からの視点が推奨されます。商品の場合、ラベル、形状、素材、および役立つ別角度を含めます。

複数のキャラクターを扱えますか？

はい。ただし、各キャラクターに別々の画像リファレンスと安定した名前が必要です。すべてのアクション、服装、位置を正しいキャラクターにマッピングすることが、顔の入れ替わり、衣装の混同、役割の混乱を減らすために推奨されます。

同じ商品を複数の広告で一貫させられますか？

はい。商品リファレンスは形状、ブランディング、色、素材を明確に示し、各生成でクリエイター、環境、アクション、カメラが変更されるべきです。ラベルの配置とプロポーションは注意深く確認する必要があります。

アップロードできるリファレンス素材の数は？

制限はモデルによって異なります。Seedance 2.0とMiniMax H3は最大9枚の画像、3本の動画、3つの音声ファイルを受け入れます。Seedance 2.5は最大30枚の画像、10本の動画、10の音声ファイルを受け入れます。Omni Flash 1.1は7つの重み付きリファレンススロットを使用し、1本の動画が2スロットを使用し、動画は1本のみ許可されます。コンポーザーは有効な制限を検証します。

ソースが無視されるのはなぜですか？

リファレンスは、素材が矛盾している、被写体が小さすぎる、またはプロンプトが素材の役割を説明していない場合に無視されることがよくあります。このページでは、冗長なファイルを削除し、関連する詳細の周りでトリミングし、明示的な@Image、@Video、@Audioトークンを使用し、一度に1つの変更をテストすることを提案しています。