Как сделать AI-видео с диалогом и синхронизацией губ

Пошаговый workflow для диалогового AI-видео: сценарий, русский голос, фронтальный референс, lip sync, контроль мимики и исправление артефактов.

Published 2026-08-04

Updated 2026-08-04

Topic: AI-видео с речью и говорящими персонажами

Реалистичное AI-видео с диалогом строится не вокруг одной волшебной кнопки, а вокруг последовательности решений. Нужно отдельно продумать реплики, внешний вид персонажей, ракурс, голос, паузы и движение лица. Если хотя бы один из этих элементов подготовлен плохо, зритель заметит рассинхрон: звук уже закончился, а рот ещё движется; ударение не совпало с артикуляцией; лицо изменилось между кадрами.

Для TryVeo полезно рассматривать два рабочих маршрута. В первом вы описываете сцену и просите модель создать видео вместе с нативной речью. Во втором сначала готовите голосовую дорожку, а затем применяете синхронизацию губ к выбранному видеоклипу или изображению. Первый вариант быстрее для черновика, второй даёт больше контроля над русским текстом, темпом и дубляжом. Возможности конкретной модели и качество результата могут различаться, поэтому перед началом стоит проверить доступные режимы и ограничения выбранного инструмента.

Как выбрать маршрут: нативный звук или отдельный lip sync

Генерация сцены с нативным аудио подходит, когда важны скорость и цельность короткого эпизода. Вы формулируете, кто говорит, что происходит в кадре, каким должен быть голос и где находятся персонажи. Такой подход удобен для быстрых коротких роликов, раскадровок и первых вариантов рекламной сцены. Он позволяет сразу увидеть связь между движением камеры, реакцией собеседника и репликой. Возможности Veo для генерации видео и звука описаны Google DeepMind на странице Veo 3.1.

Однако нативную речь труднее исправлять точечно. Если модель неверно произнесла русское имя, проглотила окончание или сделала неестественную паузу, часто приходится перегенерировать весь фрагмент. Google DeepMind отдельно указывает, что создание естественной и согласованной речи, особенно коротких речевых фрагментов, остаётся областью активной разработки. Поэтому не стоит воспринимать один удачный дубль как гарантию стабильного результата в длинной сцене. Для быстрого концепта это всё равно удобный маршрут, если вы заранее готовы отбраковать неудачные варианты и оставить только убедительные фрагменты.

Шаг 1. Разбейте диалог на управляемые реплики

Не начинайте с монолога на несколько абзацев. Разделите сцену на короткие смысловые фрагменты, чтобы отдельно контролировать произношение, выражение лица и реакцию собеседника. Для короткого ролика одна реплика должна передавать одну мысль. Между репликами оставляйте место для взгляда, вдоха, поворота головы или короткой реакции без слов. Такая разбивка помогает не только синхронизации, но и монтажу: каждый фрагмент можно заменить, не пересобирая всю сцену.

Сначала подготовьте таблицу сценария: номер кадра, говорящий, точный текст, эмоциональная задача, длительность, план и действие второго персонажа. Указывайте ударные слова и имена, которые могут быть неправильно прочитаны. В русском языке особенно важны окончания, шипящие звуки, мягкость согласных и логическое ударение: нейтрально написанная фраза не всегда подсказывает модели нужную интонацию. Если реплика должна прозвучать с сомнением, раздражением или облегчением, зафиксируйте это рядом с текстом, а не оставляйте только в собственных ожиданиях.

1. Запишите реплику так, как она должна звучать, а не только так, как она выглядит на экране.
2. Разметьте паузы знаками препинания и при необходимости добавьте короткое описание темпа: спокойно, с заминкой, быстро, почти шёпотом.
3. Разделите говорящих по именам и не смешивайте их реплики в одном блоке инструкций.
4. Уберите лишние слова из тестового дубля: сначала проверьте артикуляцию, затем усложняйте сцену.
5. Сохраните отдельные варианты текста для дубляжа, субтитров и финального монтажа.

Шаг 2. Подготовьте персонажа и фронтальный референс

Для говорящего персонажа с ИИ выбирайте изображение или видеокадр, где лицо достаточно крупное, освещено равномерно и не закрыто волосами, рукой, микрофоном или резким контрастом. Фронтальный или близкий к фронтальному ракурс обычно проще для синхронизации, чем профиль. Если герой должен повернуться, сначала сделайте отдельный план с репликой прямо в камеру, а движение используйте в паузе или после ключевого слова. На первом тесте важнее читаемость рта, чем сложность постановки.

Зафиксируйте признаки идентичности: причёску, форму очков, одежду, цвет глаз, возраст персонажа и направление света. В промпте описывайте не только внешность, но и поведение: «говорит, сохраняя взгляд на собеседнике», «слегка поднимает брови перед ответом», «не закрывает рот руками». Чем меньше случайных переменных между дублями, тем проще сравнивать результаты и находить настоящую причину ошибки.

• Проверяйте, что рот не скрыт тенью, чашкой, телефоном или быстрым жестом.
• Не меняйте лицо, костюм и источник света между соседними дублями без необходимости.
• Для двух персонажей заранее определите, кто находится ближе к камере и в какую сторону смотрит каждый собеседник.
• Если персонаж создан по референсу, используйте один основной образ, а не несколько почти одинаковых изображений.
• Сделайте тест без сложного движения камеры: сначала нужна читаемая артикуляция, затем кинематографичность.
• Проверьте, не пересекаются ли руки, волосы и предметы интерьера с областью рта в момент ключевых слов.

Шаг 3. Создайте русскую аудиодорожку

Во втором workflow голос становится отдельным производственным активом. Сначала выберите тембр и возраст персонажа, затем проверьте произношение на коротком тесте. Не оценивайте только качество записи: слушайте, совпадает ли интонация с мимикой. Удивление, сомнение и раздражение требуют разной высоты голоса, скорости и длины пауз. Если голос звучит ровно, даже технически точный lip sync может выглядеть неубедительно, потому что лицо не получает понятной эмоциональной задачи.

Для локализации храните оригинальную дорожку и каждую языковую версию отдельно. Русский перевод может быть длиннее или короче исходной реплики, поэтому его нужно подгонять не механическим ускорением, а редактурой фразы. Сначала исправляйте текст, затем темп, и только потом запускайте синхронизацию. При нескольких версиях языка сохраняйте одинаковую структуру файлов и названия дублей: это уменьшает риск случайно синхронизировать не ту реплику.

1. Прослушайте имя, числа, аббревиатуры и заимствованные слова отдельно.
2. Обрежьте тишину в начале и конце файла, но не удаляйте естественные паузы внутри фразы.
3. Разделите длинный диалог на файлы по репликам или по коротким обменам между персонажами.
4. Сопоставьте длину аудио с планируемым кадром до запуска lip sync.
5. Оставьте запас для вдоха и реакции: персонаж не обязан двигать губами в каждой секунде клипа.
6. Сделайте несколько вариантов спорного произношения и выберите наиболее естественный до начала визуальной генерации.

Шаг 4. Выполните lip sync и соберите сцену

Когда голос и визуальный материал готовы, загрузите их в выбранный режим TryVeo и начните с одного крупного или среднего плана. Для первого теста не добавляйте толпу, сложное освещение, быстрый наезд камеры и активные жесты. Цель теста — проверить, открывается ли рот в нужный момент, соответствуют ли движения губ звукам и остаётся ли лицо узнаваемым от начала до конца. Только после этого стоит усложнять мизансцену.

Для диалога генерируйте реплики по очереди или небольшими парами, а не всю сцену целиком. Так проще сохранить направление взгляда и монтажную логику. После каждого дубля отмечайте точку ошибки по таймкоду: начало слова, согласный звук, окончание фразы, пауза или реакция слушающего. Такой журнал помогает понять, нужна ли новая аудиодорожка, другой референс или повторная генерация видео. Не меняйте одновременно текст, лицо, длительность и ракурс: иначе сравнение вариантов потеряет смысл.

• Для говорящего используйте ясную артикуляцию, но не просите чрезмерно широко открывать рот: это часто выглядит неестественно.
• Указывайте, что слушающий персонаж сохраняет естественную реакцию и не начинает случайно говорить.
• Сведите планы в монтаже по смыслу, а не только по длине аудиофайлов.
• Если финальный клип будет вертикальным, проверяйте лицо именно в вертикальном кадрировании, а не только в исходном широком плане.
• Храните удачный референс и текст промпта, чтобы повторить сцену после исправления отдельной ошибки.
• Оставляйте несколько кадров до начала реплики и после её окончания: они пригодятся для склейки и реакции собеседника.

Как проверять качество и исправлять артефакты

Проверяйте ролик в трёх прохода. Сначала смотрите без звука: лицо должно двигаться осмысленно, а персонаж не должен менять возраст, форму рта или ключевые черты. Затем слушайте только аудио: текст, ударения и паузы должны быть понятны. В третьем проходе смотрите и слушайте вместе, желательно на обычной скорости и покадрово в местах, где синхронизация кажется сомнительной. Такой порядок разделяет визуальные, звуковые и комбинированные проблемы.

Исследование OmniSync обращает внимание на то, что оценивать синхронизацию нужно на разнообразных AI-видео, а не только на одном удачном крупном плане. В работе также вводится ориентир для оценки синхронизации на разнообразных AI-видео. На практике это означает проверку разных лиц, выражений, поворотов и условий освещения. Если проблема появляется только в профиле или во время жеста рукой, не обязательно менять голос: сначала попробуйте заменить конкретный кадр.

После технической проверки переходите к восприятию сцены. Зритель должен понимать, кто говорит, почему персонаж отвечает именно так и куда направлено его внимание. Иногда формальная синхронизация выглядит приемлемо, но диалог всё равно кажется искусственным из-за отсутствия реакции слушающего или слишком резкой смены плана. В таком случае полезнее добавить короткую паузу, взгляд или отдельный кадр реакции, чем усиливать движение губ.

• Каждая реплика имеет понятного говорящего, цель и место в сцене.
• Текст проверен на имена, числа, ударения, окончания и согласование перевода с длительностью кадра.
• Лицо видно достаточно крупно, рот не перекрыт, а ключевая мимика не спрятана за быстрым движением.
• Голос звучит естественно и соответствует возрасту, эмоции и ситуации персонажа.
• Синхронизация проверена в начале, середине и конце каждой реплики.
• Слушающий персонаж реагирует взглядом, позой или выражением лица, но не перетягивает внимание.
• Артефакты исправлялись последовательно: сначала аудио и тайминг, затем референс, ракурс и движение.
• Финальный ролик просмотрен в том формате, в котором его увидит аудитория: вертикальном, квадратном или широком.
• Удачные настройки, референсы, аудиофайлы и промпты сохранены для повторной генерации.
• Перед публикацией отдельно проверены субтитры, громкость речи и совпадение финальной версии с утверждённым сценарием.

Если нужен быстрый концепт, начните с видео и нативного звука, а лучшие кадры затем переработайте. Если приоритетом являются точный русский текст, дубляж или несколько языковых версий, надёжнее построить сцену от голоса: сценарий, аудио, фронтальный референс, lip sync и только потом монтаж. Такой порядок не устраняет все ограничения генеративного видео, но делает ошибки видимыми и управляемыми. Проверяйте каждую реплику отдельно, сохраняйте удачные элементы и усложняйте сцену только после того, как базовая артикуляция уже работает.