AIリップシンク

キャラクターの口の動きを、任意の音声入力に同期します。撮影し直さずに、顔へ新しい発話、翻訳した声、収録した台本を与えられます。

どんな音声トラックでも駆動に使える
動画にも生成キャラクターにも対応
映像はそのまま、話す内容だけ変える
結果はライブラリに保存

リップシンクを始める他の言語に吹き替える

動画をリップシンクする方法

必要なのは2つだけです。画面上の顔と、その顔が話す音声。ツールが両者をつなぎ合わせます。

01
顔が映っている動画か画像をアップロード
顔がはっきり見えて、フレーム内である程度大きく映っているクリップを選びましょう。ツールは口を追うので、明るく鮮明な顔ほどきれいな結果になります。
02
話させたい音声を追加
録音、生成したボイスオーバー、翻訳したトラックなどをアップロードします。口の動きは、この音声の内容に合わせられます。
03
実行して結果を確認
音を出して結果を再生しましょう。強い子音や間のところで口を見て、ずれてきたらよりクリーンな音声ファイルで再実行します。

リップシンクが役立つこと

既存の映像に新しい発話を

撮り直さずに、人が話す内容を変えられます。映像はそのままで、口が新しい音声に追従します。

翻訳した声とセットで

翻訳または生成した音声トラックを元の映像と組み合わせ、吹き替えが口とずれて見えないようにします。

生成キャラクターに命を吹き込む

画像や生成クリップのキャラクターに台本を話させ、静止したコンセプトをプレゼンターに変えられます。

音声主導だから、台本を自分で決められる

音声が口を動かすので、言葉、言語、タイミングを自分で決められ、トラックを差し替えて再実行することもできます。

ワークフローの中でのリップシンク

ローカライズした動画

翻訳した声に口を合わせ、他の国の視聴者がずれた映像を見ずに済むようにします。

修正とテイクの撮り直し

言い間違えた台詞や変更が必要な台詞を、全員を呼び戻して再撮影することなく直せます。

プレゼンターと解説動画

生成した、あるいはイラストのキャラクターに声と台本を与え、繰り返し使えるシリーズにします。

商品と広告のクリエイティブ

同じ映像でいくつもの台本を試し、どれが成果を出すかを比べられます。

研修と講座のコンテンツ

収録済みの授業内の口頭の指示を、セッション全体を録り直さずに更新できます。

リップシンクが自然に見えるかどうかを決めるもの

VerseInのリップシンクには2つの入力が必要です。顔がはっきり映っている動画または画像と、その顔に話させる音声です。音声は録音、生成したナレーション、翻訳した音声トラックのいずれでもよく、口の動きがそれに合わせられます。結果はライブラリに保存されるので、音声を差し替えてもう一度実行し、バージョンを並べて比べられます。

人は、発話と合っていない口に非常に敏感です。ほんの一瞬の遅れや、強い子音で動かない口は、視聴者が理由を言えるようになる前に、おかしいと感じられます。これがリップシンクのツールに求められる基準であり、結果は静止したフレームではなく、音を出して見る必要がある理由です。

出発点となる映像も重要です。フレーム内で大きく、均一に照らされ、おおむねカメラを向いている顔は、ツールにとって扱いやすい口になります。横顔、口にかかる強い影、顔の前の手、引きのショットの非常に小さな顔は、どれも一致を難しくし、結果はより推測に頼ることになります。

音声も同じくらい重要です。背景ノイズが少なくクリアな話し声は、ひとつひとつの音に明確な信号を与えます。声の下に混ざった音楽、複数人が同時に話す状況、強いエコーは信号をぼやけさせ、口の動きもそのぼやけに従います。一致が甘く見えたら、まず試すべきは同じ台詞のよりクリーンな録音です。

台詞の長さも考えましょう。テンポの良い短い文は、区切りのない長い段落よりも合わせやすく、自然な間で分割されたクリップは、1分続くクリップよりも確認しやすくなります。台詞ごとに作業すれば、手直しが必要な部分だけを安くやり直せます。

最後に、誠実に使ってください。自分自身の映像、同意した人、自分で作ったキャラクターに発話を同期させましょう。同意していない実在の人物に言葉を言わせる使い方はしないでください。また、公開先のプラットフォームが求める場合は、合成音声であることを表示してください。