Как сделать клип на свою песню с помощью ИИ-агента

Шаг 1. Песня

Зачем. Нужен трек со структурой, под которую удобно монтировать: тихие куплеты, громкие припевы, ясный финал.

Ты. Пишешь текст и теги структуры, генерируешь в Suno, выбираешь вариант.

Как было у меня. Suno v6, платный тариф, поэтому права на песню и коммерческое использование у меня. Промпт состоит из текста песни и тегов структуры. В оригинале он был одной строкой, здесь разбит на строки:

[Verse 1 - cold open, vocals from the first second, quiet clean guitar, clear calm vocal upfront]
Ну что вам сказать про систему? Там ноль, единица и код, Прозрачна в ней каждая схема... Но кто человека поймёт?
[Pre-Chorus - building tension]
«Хочу что-нибудь такое! Не знаю сам, какое!»
[Chorus - loud, distorted guitars, powerful shouted vocal, every word clear]
Не в базах данных, не в моделях — Вся драма — в людях, как всегда! Нам, аналитикам, талант бы — Читать их мысли... иногда!
[Verse 2 - band drops out immediately, quiet, clear calm vocal upfront]
Проект запускаем с огнём, Горят у команды глаза... А завтра — звонок, словно гром: «Не то! Переделать! С нуля!»
[Pre-Chorus - building tension]
«Хочу что-нибудь такое! Не знаю сам, какое!»
[Final Chorus - loudest, powerful raw vocal, every word clear]
Не в базах данных, не в моделях — Вся драма — в людях, как всегда! Нам, аналитикам, талант бы — Читать их мысли... иногда! Хоть иногда!
[End - band stops dead on the last word]

Открыть крупно

Теги вроде "тихо", "громко", "группа замолкает" и "обрыв на последнем слове" сильно помогают монтажу. Контраст тихо-громко потом повторяется в картинке.

Что пошло не так. В тегах стоял обрыв на последнем слове, а Suno добавил после него около 14 секунд проигрыша. Проигрыш пришлось отдать под развязку сюжета.

Шаг 2. Бриф

Зачем. Записать, о чем клип, до любой картинки.

Ты. Пишешь бриф одним документом. Моя структура годится как шаблон:

1. О чем песня: главная мысль и ее внутренний механизм.
2. Тон: например, самоирония, а не злость; заказчик не злодей, аналитик не жертва.
3. Текст песни: эталон по звучанию.
4. Герой: кто он, как выглядит, как меняются его эмоции от начала к концу.
5. Сюжет по частям песни: что происходит в каждом куплете и припеве.
6. Финал: предложение шутки.
7. Важно: не иллюстрировать текст построчно; точки синхронизации; контраст тихо-громко; текст на экране дословно; никаких реальных логотипов и брендов.

Механизм моей песни называется IKIWISI, "I'll know it when I see it". Заказчик не знает, чего хочет, пока не увидит. Тон я записал так: айтишник должен узнать себя и улыбнуться, а заказчик при этом не обидеться. Эмоции героя шли от спокойной уверенности через недоумение и отчаяние к азарту запуска. Потом крах, а в конце усталая улыбка и маленькая победа.

Агент. Задает уточняющие вопросы пакетами по 2–4, с готовыми вариантами и пометкой рекомендуемого. Заодно находит проблемы заранее. Мне агент сразу назвал три:

• из одного аватара не построить эмоции, нужен набор поз;
• на рубашке аватара читается чужой бренд, его убрали;
• заказчика никто не рисовал, его пришлось придумать.

Открыть крупно

Шаг 3. Материалы стиля

Зачем. Чтобы ролик был в твоем стиле, а не в стиле ИИ.

Ты. Даешь аватар и как можно больше примеров своего визуального стиля. Я дал 40 обложек постов своего Telegram-канала.

Агент. Выводит из примеров правила стиля: контур, заливку, цвета, композицию. Палитру он берет скриптом прямо с обложек. Скрипт группирует пиксели по оттенку и выбирает самый частый цвет в каждой группе.

По одному примеру агент просто копирует, принцип он не улавливает. Нужно минимум 3–5 примеров в одной манере.

Шаг 4. Тайминги песни

Зачем. Нужно точное время каждого слова и удара. Без него картинка не попадает в музыку.

Агент пробует несколько способов:

1. Анализ громкости у меня не сработал: трек плотный, разница между куплетом и припевом около 5 дБ.
2. Анализ спектра нашел вход дисторшн-гитар припева, около 22,5 секунды, и удар грома на 58–60 секунде.
3. Теги Suno дали структуру.
4. Локальная модель распознавания речи Parakeet дала время каждого слова. Слова под гитару она распознала с ошибками, например "раздавным моделя", но время надежное, плюс-минус полсекунды.
5. Сетка долей: 136 ударов в минуту, одна доля длится 0,441 секунды.

Ты. Слушаешь непонятные места. Агент принял гитарное тремоло в начале песни за звонок телефона, я поправил. Еще я сказал ему, что слова кончаются на 90-й секунде.

Результат. Таблица "часть песни · время · строки · уверенность". Ключевые точки моего клипа:

Время	Что происходит
22,53 с	взрыв первого припева
58,27 с	"Переделать!" и удар грома
70,18 с	второй взрыв
84,3 с	"Хоть иногда!"
103,5 с	обрыв песни

Открыть крупно

Шаг 5. Концепция

Агент предлагает 2–3 направления: суть, ключевой образ, динамику.

Как было у меня. Вариантов было три. "Схема на столе": хаос заказчика ползет по аккуратной схеме. "Сцены-обложки": каждая часть песни как обложка поста, с риском получить слайд-шоу. "Читать мысли": доска детектива с красными нитями. Я выбрал схему, а в припевах стена превращается в доску детектива. Обе метафоры взяты с моих обложек, поэтому клип остался в моем бренде.

Открыть крупно

Шаг 6. Стиль

Зачем. Получить правила, по которым рисуется каждый элемент.

Как было у меня. Стиль сложился из четырех слоев, и сразу его не было: он вырос из пяти кругов правок.

Мысли заказчика нарисованы смутным карандашным наброском, работа аналитика четкой схемой, а мир вокруг в моем стиле. Так разница считывается без слов.

Открыть крупно

Открыть крупно

Палитра взята с обложек. Теплый свет появляется только в развязке.

Шрифты. Название и удары набраны Oswald. Для реплик, надписей от руки и субтитров взят Excalifont, шрифт онлайн-доски Excalidraw.

Движение. В секунде 24 кадра, а рисунок меняется через кадр, 12 раз в секунду. Линии слегка "кипят", и от этого картинка выглядит нарисованной.

Шаг 7. Сценарий

Агент пишет сюжет по частям песни и добавляет сквозные предметы, которые держат историю без слов.

Как было у меня:

• карточка "v1", первая версия героя. Она видна с первого кадра, светится в озарении и оказывается в финальной папке;
• картина с черепахой, аватаром моего сообщества. Ровно висит при порядке, кренится при хаосе, падает при крахе, горит, в финале висит с обугленной рамой;
• телефон, по которому звонят "словно гром";
• папка "v12_ФИНАЛ" с финальной шуткой: двенадцатая версия, внутри которой первая.

Открыть крупно

Открыть крупно

Финальную шутку закладывай с первого кадра, иначе в конце она прозвучит случайной репликой.

Шаг 8. Раскадровка

Зачем. Получить таблицу на весь ролик: кадр, время, что в кадре, камера, звук и синхронизация, текст, нужные картинки.

Как было у меня. 29 кадров на 107 секунд. Три правила:

• первый кадр не пустой: это обложка в ленте;
• последние 3 секунды стоит неподвижный постер;
• нижние 15% кадра без текста: там интерфейс Reels и Shorts.

Самая сильная синхронизация в клипе: штамп "ПЕРЕДЕЛАТЬ!" падает ровно на удар грома в песне, на отметке 58,27 секунды.

Открыть крупно

Шаг 9. Картинки персонажей

Ты генерируешь картинки по промптам агента. Агент принимает каждую.

Как устроено:

1. На каждой картинке одна поза на белом фоне, вертикально, 1024×1536. Имя дается по коду раскадровки: H01 для героя, C01 для заказчика, T01 для команды, D01 для рисунка.
2. Промпт собирается из трех блоков. Общий задает стиль, белый фон и руки с пальцами целиком. Дальше идут блок героя и поза одной строкой. Тексты блоков лежат в разделе "Промпты целиком".
3. Сначала две пробы, герой и заказчик. Остальные делаются после сверки.
4. Приемка: лицо узнается, фон чистый, пальцев пять, на одежде нет надписей, в кадре только названное.

Что получилось. 16 картинок героя, 4 позы заказчика и команда, итого 21 картинка людей. Плюс 9 рисунков "мыслей заказчика": 8 карандашом и 1 в манере Excalidraw. Всего 30. Из них 18 сгенерировал Codex по заданию, записанному в спецификации. Остальные 12 я сделал вручную в ChatGPT.

D01

→

D03

→

D04

H04

H04b

Что пошло не так и чему научило:

• Без аватара на входе генератор теряет стиль, даже у персонажей, не похожих на героя. Аватар прикладывай ко всем картинкам как образец манеры, с фразой "этих людей не рисуй".
• "Та же поза, другое лицо" не получилось редактированием с выделением. Получилось в новом чате с одной картинкой-образцом.
• Английский термин exploded view diagram генератор понимает точнее, чем русское "разобранный".
• Неудачная картинка часто подходит в другое место. Одна "ошибка" стала позой для другой сцены.

Шаг 10. Черновик под музыку

Зачем. Проверить ритм до финальной графики. Такой черновик называют аниматиком.

Агент собирает весь клип под песню, но вместо людей ставит заглушки: вырезанный аватар и серые силуэты. Все, что рисует код, сразу делается в стиле. Размер 540×960, чтобы быстрее.

Как было у меня. Агент работал 98 минут, рендер шел 56 секунд. Я посмотрел и дал первые правки. Картинки людей в это время генерировались параллельно.

Открыть крупно

Шаг 11. Превью и правки

Агент ставит настоящие картинки и рендерит превью 540×960. Потом сам снимает 12–14 ключевых кадров, смотрит их, чинит найденное и только после этого показывает тебе.

Ты смотришь и даешь правки списком. Что я говорил на каждом круге, ниже в разделе "Как клип менялся". Как формулировать правку, чтобы агент понял с первого раза, рассказываю в разделе сразу за ним.

Открыть крупно

Шаг 12. Финал

Агент рендерит 1080×1920 только после твоего "ок" по превью.

Проверки финала у меня:

• длина 107,000 секунды, 24 кадра в секунду, 2 568 кадров;
• сдвиг звука 0 мс;
• громкость −14,6 LUFS против −14,4 у исходной песни, разница от перекодирования звука;
• первый кадр не пустой, последние 3 секунды занимает постер;
• движок не нашел ошибок;
• два рендера версии без субтитров совпали до байта.

Открыть крупно

Чего я не проверил. Попадание субтитров в слова я на слух не проверял, только машинным анализом. Рендер с физически выключенной сетью не запускал: проверил лишь, что при рендере нет обращений в интернет.

Шаг 13. Субтитры

Я спросил агента, не перегрузят ли полные субтитры картинку. Решение: каждое слово на экране ровно один раз в каждый момент.

• Строки, уже нарисованные в кадре, не дублируются: реплики заказчика, строки на листе, "ПЕРЕДЕЛАТЬ!", "Хоть иногда!".
• Остальное идет одной караоке-строкой внизу, но выше интерфейса площадки. Текущее слово подсвечено оранжевым, шрифт Excalifont.

Открыть крупно

Открыть крупно

Поэтому у ролика две версии: с субтитрами и без.

Шаг 14. Сдача

У облегченной копии тот же размер кадра, но сжата она сильнее. На глаз разница почти не видна. Мера сходства SSIM с полной версией равна 0,954 по яркости и 0,966 по всем каналам. Единица означает полное совпадение. Воспроизведение стартует быстро. Команда:

ffmpeg -i final_subs.mp4 -c:v libx264 -profile:v high -preset slow -crf 23 -pix_fmt yuv420p -movflags +faststart -c:a copy final_subs_light.mp4

Полный файл такой тяжелый из-за фактуры бумаги. Бумажное зерно меняется на каждом рисунке, а кодеку такое трудно сжать.

Открыть крупно