如何為影片做口型同步
你只需提供兩樣東西：畫面中的一張臉，以及它要說的音訊，工具會把兩者對上。
- 01
上傳帶有人臉的影片或圖片
選擇人臉清晰可見、在畫面中足夠大的片段。工具會跟隨嘴部，所以光線好、清晰的人臉能得到最乾淨的結果。
- 02
新增要說的音訊
上傳一段錄音、你生成的旁白，或者翻譯後的音軌。口型會符合這段音訊所說的內容。
- 03
執行並檢查結果
開著聲音播放結果。留意爆破子音和停頓處的嘴部，如果比對出現漂移，就換一份更乾淨的音訊重新執行。
口型同步適合做什麼
給現有素材換新台詞
不用重拍就能改變一個人說的話。畫面保持不變，嘴部跟隨新的音訊。
搭配翻譯後的聲音
把翻譯或生成的聲音軌道與原始素材結合，讓配音看起來不會和口型對不上。
讓生成的角色開口說話
來自圖片或生成片段的角色可以被驅動去唸一段腳本，把靜態的概念變成一位主持人。
由音訊驅動，腳本由你掌控
因為音訊驅動嘴部，所以字詞、語言和時間點都由你決定，還可以更換音軌重新執行。
口型同步在工作流程中的位置
在地化影片
讓口型符合翻譯後的聲音，這樣其他國家的觀眾就不會看到對不上的畫面。
修正與補拍
修正說錯或需要改的台詞，而不必把所有人叫回來再拍一遍。
主持人與講解影片
給生成或插畫角色一個聲音和一份腳本，做成可重複的系列。
產品與廣告創意
在同一段素材上測試多個腳本，比較哪一個表現更好。
訓練與課程內容
更新錄製課程中的一句口頭指示，而不用重錄整場課程。
決定口型同步看起來是否自然的因素
在 VerseIn 中，口型同步需要兩個輸入：一段臉部清晰可見的影片或圖片，以及它要說的音訊。音訊可以是一段錄音、你生成的配音或翻譯後的音軌，口型會與它對齊。結果會儲存到資料庫，所以你可以更換音訊、再執行一次，並把幾個版本並排比較。
人對與語音對不上的嘴非常敏感。幾分之一秒的延遲，或者在爆破子音時紋絲不動的嘴，會在觀眾說得出原因之前就讓人覺得不對勁。這就是對口型同步工具的要求，也是為什麼要開著聲音觀看結果，而不是只憑一格靜止畫面來判斷。
你開始用的影片很重要。人臉在畫面中較大、光照均勻、大多朝向鏡頭，會給工具一張清晰可用的嘴。側臉、嘴部有強烈陰影、手擋在臉前，或者遠景中人臉非常小，都會讓比對更難，結果會更依賴猜測。
音訊同樣重要。背景雜音少的清晰語音，能為每個音提供清楚的訊號。人聲下混著音樂、多人同時說話或回音很重，都會模糊訊號，嘴部動作也會跟著變模糊。如果比對看起來鬆散，首先該試的是同一句台詞的更乾淨錄音。
也要考慮台詞的長度。節奏良好的短句比一大段不間斷的長句更容易比對，在自然停頓處切分的片段，也比持續一分鐘的片段更容易檢查。一次處理一句，也能讓只重做需要的部分變得便宜。
最後，請誠實地使用這個工具。把語音同步到你自己的素材、已經同意的人，或你創作的角色上。不要用它讓沒有同意的真實人物「說出」話來，並在你發佈的平台有要求時，標註合成語音。
AI 口型同步常見問題
做口型同步需要什麼？
一段人臉清晰可見的影片或圖片，以及包含你想要的台詞的音軌。支援的格式和限制會顯示在上傳步驟中。
對我生成的角色有效嗎？
有效。人臉可見的生成或插畫角色可以由音軌驅動，這是把概念變成會說話的主持人的快捷方式。
什麼能讓比對更好？
人臉要大、光線好、正對鏡頭，語音要乾淨、背景雜音少。如果結果看起來鬆散，先試試同一句台詞的更乾淨錄音。
可以搭配翻譯後的聲音使用嗎？
可以。把翻譯或生成的聲音與原始素材配對。如果你想一步完成翻譯和口型同步，影片配音工具兩者都能做。
有什麼是不應該用它做的嗎？
不要讓真實的人看起來說了他們沒有同意說的話。請使用你自己的素材、徵得同意的人的素材，或你創作的角色。