Нейромузыка - стоит ли использовать?
Дело было вечером, делать было нечего... И вместо того, чтобы заняться чем-то дельным, решил-таки глянуть - что же это за нейромузыка такая, которую генерирует "искусственный интеллект". Глубоко копать не стал, взял в качестве подопытных уже всем известный сервис Suno и набирающий обороты Riffusion.
Меня интересовала чисто практическая цель - а можно ли сгенерить что-то по уже готовым текстам песен? Их, как говорится, есть у меня, но в своё время они были записаны мной так, что некоторые лучше никому не показывать, да и лучшие - только незнакомым людям (они меня всё равно не знают и мне всё равно, что обо мне думают...). Поэтому я взял текст песни "Что нам мешает?" (её всё равно никто кроме друзей не слышал) и решил экспериментировать с ним. Выбрал, кстати, я его ещё и потому, что он достаточно рваный и там не все хорошо с количеством слогов в строфах - хотелось посмотреть как будет выкручиваться "электронный болван".
В текст я добавил немного подсказок, чтобы нейросеть могла понять что где (смотрел здесь):
[Intro]
[Verse]
Мы знали...
Что завтра что-то произойдёт.
Мы ждали...
Ну а вдруг и нам повезёт.[Verse]
Мы хотели
Выбить на стенах слова
О том, что мы не только не полетели,
Но и сломали крыла.[Bridge]
[Verse]
И вниз нас тащила не сила притяженья,
А чувство под названьем "любовь".
Канешно, вам в душу вкрадётся сомненье,
Но случАлось это - всё вновь и вновь![Verse]
Как бУдто мы не знАли, чЕм мы рискуем,
Но "пятьдесЯт на пятьдесЯт" - шАнсы равны!
И лишь потом мы понимали, что нас обманули,
Кто-то из очень близких, лишив нас крыл.[Chorus]
Что-о-о нам меша-ет лета-а-ать?
Что-о-о нам меша-ет мечта-а-ать?[Verse]
А мы так хотели подняться в весеннее небо,
ДурАчась, слагать там стихи...
Пускай даже чуть-чуть и неумело,
Но уж как можем, точней, как могли.[Verse]
Вместо этого я сижу на холодной кухне,
Потягивая неспешно несладкий чай.
Думая о грязном бельЕ и немытой посУде.
И всё это случилось уж так невзначай.[Bridge]
[Verse]
Когда-то мы мечтали, тогда и любили,
Но вот оказалось, что всё мимо нас.
А те, кого так любили, уже позабыли,
Что лишили чего-то важного нас как-то раз.[Verse]
И мне так больно наблюдать за птицами,
Что плавно совершают в небе полёт.
И остаётся лишь только надеятся,
Что возьмёт меня в путь сверхзвуковой самолёт.[Chorus]
Кто-о-о нам меша-ет лета-а-ать?
Кто-о-о нам меша-ет мечта-а-ать?
Что-о-о нам меша-ет лета-а-ать?
Что-о-о нам меша-ет мечта-а-ать?Ну что нам мешает, что?
[Outro]
А вот дальше начались эксперименты. Начал я с Suno:
Накидал примерные стили того, что я хотел бы получить, и первые треки дали мне понять, что, в принципе, что-то дельное сгенерить можно. Но вот ошибки у меня так и не получилось поправить, по крайней мере, в бесплатной версии. Ну а при генерации заново мы получаем практически новую песню, в которой опять могут быть ошибки.
Единственное, что меня прям сильно заинтересовало, так это то, что можно загрузить какой-то кусок вокала (правда, в бесплатной версии всего 1 минуту) и программа будет голос стараться сделать похожим. Это к той теме, если прям хочется чтобы песня звучала именно твоим голосом, т.е. типа текст накатал, а за тебя и сыграли и спели. И в этом смысле у Suno что-то получается: голос получается узнаваемым, но из-за того, что отрывок примера небольшой, то и узнаваемость к концу трека начинает проходить, поэтому получается, что использовать это в бесплатной версии нельзя. А так да, прикольно, спел кое как, а тебе программа автоматом выправляет все ошибки, да ещё и мощи добавляет.
Чисто для примера (там надо вокал улучшать и ошибки есть):
Ну и самое обидное, что сгенерить за день бесплатно можно только 10 треков. Это, если честно, вообще ни о чём. Те кто пробовал понимает, что что-то дельное сделать не получится, потому что брака в треках много. Если использовать русский язык, то произношение, интонации, пропуски слов - это прям беда. Так что Suno я бросил сразу после достижения лимита. Платить за это мне как-то даже не захотелось, хотя пару треков можно было бы вручную вытащить.
Далее я взялся за Riffusion:
Текст использовал тот же, да и стили почти те же, но результат меня порадовал сильнее. Композиции выглядели как-то цельнее что ли, проглатывания слов случались, но гораздо меньше. А самое прикольное, что можно было перегенерировать не всю песню, а только часть, что прям сильно упрощало процесс. Ну и генерировать пока что можно неограниченное количество (после некоторого количества просто приходится ждать очереди).
Сгенерировав несколько треков я долго не мог опредлелиться с каким дальше продолжать работу - во всех них были неплохие аранжировки, но вот вокал как-то не цеплял. И случайно нейросеть один раз сгенерировала женский вокал (это можно и самому указать, но я просто как-то не собирался делать женский вокал) и вот он меня зацепил. И я за него зацепился и начал по кусочку выправлять косяки вокала и аранжировки. И, как ни странно, последующие генерации как-то умудрялись решать проблемы - иногда было достаточно поправить текст (типа, "конечно" на "канешно") и указать ударение в слове (большой буквой) - так удалось побороть слово "дурачась".
В итоге после пары десятков перегенераций кусочков удалось получить цельное произведение "Кто нам мешает?". С ним можно ознакомится на моей странице этого сервиса. А также можно послушать mp3, выгруженное с сайта:
К сожалению, в бесплатной версии качество сильно ужато (128 Кбит) и подходит только для ознакомления. Wav скачать можно только в платной версии, а вот с покупкой из РФ очень всё непросто. Есть какие-то мутные схемы с предоставлением логина и пароля к сервису (нормально, да?!) или с открытием карт Visa за рубежом (развод какой-то, а если и не развод, то очень накладное дело - за открытие берут почти 2 тысячи рублей, а закидывание туда $8 оборачивается в 1600 рублей). Так что извините, слушаем что дают :)
Короче, в итоге мне с одной стороны понравилось, что вообще что-то получилось. К сожалению, всё равно получается стандартная "жвачка", хотя по качеству конечно получше чем получалось у меня, когда я ещё занимался музыкой. Однако, проблемы с оплатой как-то ограничивают применимость - разве что сгенерировать на быструю руку демо песни. В Suno бесплатно нельзя отредактировать кусок песни и вообще он сильно ограничен в количестве генераций, зато он позволяет сохранить в приличном качестве. В Riffusion наоборот: генерируй сколько хочешь (пусть и с ожиданием), но вот играет он в браузере в низком качестве и сохранить это можно только в качестве ознакомления.
P.S. Да, напишите в комментарии - показался ли вам этот вариант чем-то "искусственным", а не сделанным обычным способом? Отражается ли это в музыке или в вокале? Ну и если понравилось и вы бы такое послушали - ставьте лайк!