AI
AI Marketing Community
Вступить бесплатно
Главная/Блог/Видео
Видео · 6 мин

Как сделать клип на свою песню с помощью нейросети

Отметьте удары в треке, напишите раскадровку с нужной длительностью и генерируйте планы по одному. Покажем на 30-секундном фрагменте, где ставить монтажные точки и что делать, когда герой меняется от сцены к сцене.

Разложите песню на монтажные точки

Возьмите 30 секунд трека, которым вправе распоряжаться. Для ролика с вокалом отметьте начало фразы и конец строчки, для инструментала — сильные удары. Отдельно найдите первый слышимый удар. На треке с паузой в начале он может оказаться на отметке 0,3 секунды, поэтому сетку нужно сдвинуть на те же 0,3 секунды. Проверьте удары по волне и на слух: у живой записи темп может немного гулять.

В тесте мы собрали дорожку из импульсов с интервалом полсекунды и с первым ударом в нуле. Это 120 ударов в минуту. Четыре удара занимают 2 секунды. На таймлайне с частотой 24 кадра в секунду один удар приходится каждые 12 кадров. Дорожку положили под тестовый фон. FFprobe показал 720 кадров и ровно 30 секунд. Здесь проверены звук и монтажная сетка. Музыкальный трек и генерации сцен можно подставить свои.

Разбейте 30 секунд на шесть планов

Сделаем клип про ночного курьера с одним героем. В первые четыре секунды зритель видит героя у двери. До восьмой секунды он видит крупный план рук и рюкзака. До четырнадцатой герой идёт вдоль мокрой улицы, до двадцатой — ждёт под фонарём. Затем четыре секунды занимают отражения, последние шесть — уход героя из кадра. Метки 0, 4, 8, 14, 20, 24 и 30 секунд совпадают с началом тактов тестовой дорожки. На настоящей песне можно сохранить раскадровку, передвинув стыки на ближайшую сильную долю.

На каждый план напишите одно движение. Для третьего подойдёт «Ночной курьер в тёмно-зелёной куртке с квадратным жёлтым рюкзаком проходит слева направо. Средний план со спины. Камера неподвижна, фонарь отражается в мокром асфальте». Попросите модель сохранить направление и характер света в следующем плане. Снимок с выбранным героем, цветом куртки и рюкзаком положите рядом с монтажным листом. Используйте один референс там, где текущая модель его поддерживает. Управление кадрами и сценами зависит от выбранной модели. Справка Google Flow о сценах.

Соберите клип под исходную дорожку

Сначала выставьте музыку и заблокируйте дорожку. Подставляйте каждый видеоплан с небольшим запасом, чтобы срезать первые или последние нестабильные кадры. Если модель меняет рюкзак в середине движения, возьмите более короткую часть или замените этот участок перебивкой с отражением. На стыке проверьте направление движения и высоту камеры. Быстрая склейка по биту скроет небольшое различие оттенков. Скачок предмета с одного плеча на другое останется заметен даже в коротком клипе.

Уберите аудио с отдельных генераций, если под клипом должен звучать чистый трек. Проверьте экспорт на телефоне со звуком, затем без него. В первом просмотре убедитесь, что главные смены кадра попадают в музыку, во втором — что история читается сама по себе. Перед публикацией сверьте права на запись, композицию и визуальные референсы. Сохраните дорожку отдельно от проекта, чтобы поправить длину клипа под площадку без нового сведения.

От первого сайта до монетизации

В Telegram Дмитрий пишет о веб-кодинге, автоматизации и о том, как монетизировать сайты через партнёрки.

Подписаться в Telegram

Читайте дальше