Видео по тексту нейросетью

Как нейросеть создаёт видео по текстовому описанию

Видеомодель вроде Seedance обучена на огромном количестве роликов с подписями. Получив описание, она сначала «понимает» текст — выделяет героев, действия, место и настроение. Затем генерирует видео не кадр за кадром, а целиком: из случайного шума за десятки шагов проявляется сцена, где каждый следующий шаг делает изображение чётче и согласует движение между кадрами. Так у героя не меняется лицо, а камера движется плавно. Звук Seedance создаёт вместе с картинкой, поэтому шаги, музыка и реплики совпадают с действием.

Формула хорошего описания

Кто в кадре → что делает → где → как снимает камера → что звучит. Пример: «Пожилой рыбак в жёлтом плаще вытаскивает сеть на палубу в шторм, волны захлёстывают лодку, камера трясётся на крупном плане, слышен рёв ветра, рыбак кричит: “Держись!”».

Реплики и речь

Чтобы герой заговорил, напишите реплику в кавычках: «девушка поворачивается к камере и говорит: “Это лучший день в моей жизни”». Seedance озвучит фразу по-русски и подстроит движение губ.

Нужно, чтобы в видео был конкретный человек? Перейдите на видео по фото. Готовые описания — в разделе промтов.