如何给视频做口型同步
你只需提供两样东西：画面中的一张脸，以及它要说的音频，工具会把两者对上。
- 01
上传带有人脸的视频或图片
选择人脸清晰可见、在画面中足够大的片段。工具会跟随嘴部，所以光线好、清晰的人脸能得到最干净的结果。
- 02
添加要说的音频
上传一段录音、你生成的旁白，或者翻译后的音轨。口型会匹配这段音频所说的内容。
- 03
运行并检查结果
开着声音播放结果。留意爆破辅音和停顿处的嘴部，如果匹配出现漂移，就换一份更干净的音频重新运行。
口型同步适合做什么
给现有素材换新台词
不用重拍就能改变一个人说的话。画面保持不变，嘴部跟随新的音频。
搭配翻译后的声音
把翻译或生成的声音轨道与原始素材结合，让配音看起来不会和口型对不上。
让生成的角色开口说话
来自图片或生成片段的角色可以被驱动去念一段脚本，把静态的概念变成一位主持人。
由音频驱动，脚本由你掌控
因为音频驱动嘴部，所以字词、语言和时间点都由你决定，还可以更换音轨重新运行。
口型同步在工作流中的位置
本地化视频
让口型匹配翻译后的声音，这样其他国家的观众就不会看到对不上的画面。
修正与补拍
修正说错或需要改的台词，而不必把所有人叫回来再拍一遍。
主持人与讲解视频
给生成或插画角色一个声音和一份脚本，做成可重复的系列。
产品与广告创意
在同一段素材上测试多个脚本，比较哪一个表现更好。
培训与课程内容
更新录制课程中的一句口头指示，而不用重录整场课程。
决定口型同步看起来是否自然的因素
在 VerseIn 中，口型同步需要两个输入：一段脸部清晰可见的视频或图片，以及它要说的音频。音频可以是一段录音、你生成的配音或翻译后的音轨，口型会与它对齐。结果会保存到资料库，所以你可以更换音频、再运行一次，并把几个版本并排比较。
人对与语音对不上的嘴非常敏感。几分之一秒的延迟，或者在爆破辅音时纹丝不动的嘴，会在观众说得出原因之前就让人觉得不对劲。这就是对口型同步工具的要求，也是为什么要开着声音观看结果，而不是只凭一帧静止画面来判断。
你开始用的视频很重要。人脸在画面中较大、光照均匀、大多朝向镜头，会给工具一张清晰可用的嘴。侧脸、嘴部有强烈阴影、手挡在脸前，或者远景中人脸非常小，都会让匹配更难，结果会更依赖猜测。
音频同样重要。背景噪音少的清晰语音，能为每个音提供清楚的信号。人声下混着音乐、多人同时说话或回声很重，都会模糊信号，嘴部动作也会跟着变模糊。如果匹配看起来松散，首先该试的是同一句台词的更干净录音。
也要考虑台词的长度。节奏良好的短句比一大段不间断的长句更容易匹配，在自然停顿处切分的片段，也比持续一分钟的片段更容易检查。一次处理一句，也能让只重做需要的部分变得便宜。
最后，请诚实地使用这个工具。把语音同步到你自己的素材、已经同意的人，或你创作的角色上。不要用它让没有同意的真实人物“说出”话来，并在你发布的平台有要求时，标注合成语音。
AI 口型同步常见问题
做口型同步需要什么？
一段人脸清晰可见的视频或图片，以及包含你想要的台词的音轨。支持的格式和限制会显示在上传步骤中。
对我生成的角色有效吗？
有效。人脸可见的生成或插画角色可以由音轨驱动，这是把概念变成会说话的主持人的快捷方式。
什么能让匹配更好？
人脸要大、光线好、正对镜头，语音要干净、背景噪音少。如果结果看起来松散，先试试同一句台词的更干净录音。
可以搭配翻译后的声音使用吗？
可以。把翻译或生成的声音与原始素材配对。如果你想一步完成翻译和口型同步，视频配音工具两者都能做。
有什么是不应该用它做的吗？
不要让真实的人看起来说了他们没有同意说的话。请使用你自己的素材、征得同意的人的素材，或你创作的角色。