مزامنة الشفاه بالذكاء الاصطناعي

في VerseIn تحتاج مزامنة الشفاه إلى مدخلين: فيديو أو صورة يظهر فيها وجه بوضوح، والصوت الذي يجب أن ينطق به. يمكن أن يكون الصوت تسجيلًا أو تعليقًا صوتيًا ولّدته أو مسارًا مترجمًا، وتُطابَق حركة الفم معه. تُحفظ النتيجة في مكتبتك، فيمكنك استبدال الصوت وتشغيلها مرة أخرى ومقارنة النسخ جنبًا إلى جنب.

الناس شديدو الحساسية تجاه الأفواه التي لا تتطابق مع الكلام. فالتأخر بجزء من الثانية، أو فم يبقى ساكنًا عند حرف ساكن قوي، يُدرَك على أنه خطأ قبل أن يستطيع المشاهد تحديد السبب. هذا هو المعيار الذي تخضع له أداة مزامنة الشفاه، ولهذا يجب مشاهدة النتيجة مع تشغيل الصوت بدلًا من الحكم عليها من إطار ثابت، فبعض الانحرافات الصغيرة لا يظهر في الصورة الجامدة لكنه يبرز فور سماع الكلام مع حركة الفم، ويُفضَّل مشاهدة النتيجة أكثر من مرة قبل اعتمادها.

الفيديو الذي تبدأ منه مهم. فالوجه الكبير في الإطار والمضاء بإنصاف والموجَّه في معظمه نحو الكاميرا يمنح الأداة فمًا واضحًا تعمل عليه. أما الزوايا الجانبية والظلال القوية فوق الفم واليدان أمام الوجه والوجه الصغير جدًا في لقطة واسعة فتجعل المطابقة أصعب، وتعتمد النتيجة حينها على التخمين أكثر. وإذا لم يكن بالإمكان تغيير اللقطة نفسها فجرّب على الأقل اختيار مقطع آخر من التصوير يكون فيه الوجه أوضح وأقرب إلى الكاميرا.

والصوت مهم بالقدر نفسه. فالكلام النظيف مع قليل من ضجيج الخلفية يعطي إشارة واضحة لكل صوت. أما الموسيقى الممزوجة تحت الصوت وتحدث عدة أشخاص في وقت واحد والصدى الشديد فتشوّش الإشارة، وتتبع حركة الفم ذلك التشويش. وإذا بدت المطابقة فضفاضة فأول ما تجربه هو تسجيل أنظف للجملة نفسها، ويكفي في كثير من الأحيان تسجيل الصوت من جديد في مكان هادئ وبميكروفون قريب لتتحسن النتيجة تحسنًا كبيرًا.

فكّر أيضًا في طول الجملة. فالجملة القصيرة جيدة الإيقاع أسهل في المطابقة من فقرة طويلة بلا توقف، والمقطع المقسَّم عند فترات التوقف الطبيعية أسهل في المراجعة من مقطع يستمر دقيقة كاملة. كما أن العمل على جملة في كل مرة يجعل إعادة الجزء الذي يحتاج إلى ذلك فقط رخيصة.

وأخيرًا استخدم الأداة بأمانة. زامن الكلام مع لقطاتك أنت أو مع أشخاص وافقوا على ذلك أو مع شخصيات ابتكرتها. لا تستخدمها لوضع كلمات على لسان شخص حقيقي لم يوافق، وأشِر إلى أن الكلام اصطناعي حيثما تشترط المنصة التي تنشر عليها ذلك، فالشفافية مع جمهورك تحفظ الثقة وتجنّبك مشكلات لاحقة مع المنصات.