ИИ в музыке: применение и инструменты, например MusicBrainz Picard

Искусственный интеллект (AI) — это воссоздание человеческого интеллекта в машинах. Важная часть человеческой жизни — наша связь с искусством, особенно с музыкой. Музыка глубоко влияет на нашу культуру и эмоции. Благодаря достижениям в области ИИ машины теперь могут создавать музыку, звучащую так, будто ее сочинили люди. Музыка, созданная ИИ, открывает новые возможности для инновационного сотрудничества людей и ИИ и меняет то, как мы воспринимаем музыку и взаимодействуем с ней.

В этой статье мы расскажем, как ИИ используют для создания музыки. Мы также обсудим связь ИИ с инструментами для разметки музыки, такими как MusicBrainz Picard, и их влияние на артистов, продюсеров и индустрию развлечений в целом.

Звуковой ИИ и его значение#

ИИ может работать с различными типами данных, в том числе со звуком. Звуковые данные, которые часто называют аудиоданными, представляют собой сочетание звуковых волн разной частоты и интенсивности, меняющихся во времени. Как и изображения или временные ряды, аудиоданные можно преобразовать в формат, который системы ИИ способны обрабатывать и анализировать. Звуковые волны можно преобразовать в числовые данные, пригодные для анализа моделями ИИ.

Еще один интересный метод — преобразование Фурье, которое позволяет преобразовать звуковые волны в спектрограмму. Спектрограмма — это наглядное представление того, как меняются со временем различные звуковые частоты. Модели ИИ могут применять методы распознавания изображений для анализа и интерпретации аудиоданных, рассматривая спектрограмму как изображение. ИИ может выявлять закономерности и признаки в звуке так же, как и в визуальных данных.

Рис. 1. Пример классификации звука с помощью ИИ.

Применение ИИ для анализа, преобразования и генерации аудиоданных открывает широкий спектр возможностей. Вот несколько примеров:

• Генерация и сочинение музыки: создание новой музыки на основе существующих композиций и помощь музыкантам с мелодиями, гармониями и ритмами.
• Улучшение звука и шумоподавление: повышение качества звука за счет снижения фонового шума для колл-центров, слуховых аппаратов и аудиомонтажа.
• Составление краткого содержания подкастов: создание лаконичных обзоров выпусков подкастов, чтобы упростить их прослушивание.
• Распознавание эмоций по речи: определение эмоций в речи для обслуживания клиентов, мониторинга психического здоровья и исследований пользовательского опыта.

Как работают генераторы песен на основе ИИ#

Генераторы песен на основе ИИ анализируют существующую музыку и обучаются на ней — примерно так же, как происходит генерация изображений. Важно понимать разницу между использованием ИИ для понимания музыки и использованием ИИ для ее генерации. Понимание музыки предполагает анализ и выявление закономерностей, а генерация музыки — создание новых композиций на основе усвоенных закономерностей.

Рис. 2. Сравнение понимания музыки с помощью ИИ и генерации музыки с помощью ИИ.

Процесс генерации музыки с помощью ИИ начинается со сбора большого набора данных, включающего музыку разных жанров и стилей. Затем набор данных разбивают на более мелкие элементы, такие как ноты, аккорды и ритмы, и преобразуют в числовые данные, которые может обрабатывать ИИ.

Для генерации музыки можно обучать множество разных генеративных моделей ИИ. Например, модели ИИ, такие как Transformer и вариационные автокодировщики (VAEs), могут работать вместе для генерации музыки. VAEs сжимают входные звуки в латентное пространство, группируя похожие музыкальные фрагменты, чтобы отразить разнообразие и богатство музыки. Затем Transformer используют это латентное пространство для генерации новой музыки: они распознают закономерности и уделяют внимание важным нотам в последовательности.

После обучения модели ИИ на этих данных ИИ может генерировать новую музыку, предсказывая следующую ноту или аккорд на основе усвоенного. Объединяя эти предсказания, модель может создавать целые композиции. Сгенерированную музыку можно доработать с учетом определенного стиля или предпочтений.

Мы уже видим все больше музыкальных генераторов, использующих эту технологию. Вот несколько примеров:

• MusicLM от Google: генерирует музыку по текстовым запросам, позволяя пользователям задавать жанр, настроение, инструменты и общее звучание.
• MusicGen от Meta: создает музыку по текстовым описаниям или существующим мелодиям, используя инструмент EnCodec для обработки аудиоданных.
• Stable Audio 2.0 от Stability AI: создает высококачественные аудиодорожки и звуковые эффекты на основе текстовых и аудиовходных данных, умеет генерировать полноценные треки и преобразовывать аудиосэмплы по запросу.

Влияние ИИ на музыкальную индустрию#

Инновации в области ИИ создают новые возможности и ставят новые задачи перед музыкантами, слушателями и продюсерами, приводя к ситуациям, с которыми они раньше не сталкивались. Интересно наблюдать, как каждая из этих групп адаптируется к новым технологиям, использует новые инструменты и решает вопросы оригинальности и этики. Помимо генерации музыки, ИИ обладает и другими перспективными возможностями в музыкальной индустрии: например, улучшать живые выступления, упрощать поиск музыки и помогать в производстве. Давай подробнее рассмотрим, как ИИ влияет на музыкантов, слушателей и продюсеров в музыкальной индустрии.

Рис. 3. Влияние генеративного ИИ на музыкальную индустрию.

Влияние на музыкантов#

ИИ меняет подход музыкантов к созданию музыки. Инструменты на основе генеративного ИИ помогают создавать новые мелодии, последовательности аккордов и тексты песен, облегчая музыкантам преодоление творческого кризиса. ИИ также использовали для завершения незаконченных произведений, например новой песни The Beatles «Now And Then», созданной с использованием вокала Джона Леннона из старой демозаписи. Однако распространение музыки, созданной ИИ и имитирующей стиль известных артистов, вызывает опасения по поводу оригинальности. Например, такие артисты, как Bad Bunny, опасаются, что ИИ будет копировать их голоса и стили без согласия.

Помимо создания музыки, ИИ и компьютерное зрение могут помогать музыкантам готовить более впечатляющие выступления и музыкальные видео. Музыкальное видео состоит из множества элементов, и один из них — танец. Модели оценки позы, такие как Ultralytics YOLOv8, распознают позы людей на изображениях и видео и могут участвовать в создании танцевальных последовательностей, синхронизированных с музыкой.

Еще один наглядный пример применения ИИ в хореографии — проект NVIDIA «Dance to Music». В этом проекте использовали ИИ и двухэтапный процесс для генерации новых танцевальных движений, которые отличаются разнообразием, соответствуют стилю и попадают в ритм. Сначала с помощью оценки позы и кинематического детектора ритма на большом наборе танцевальных видео обучили систему распознавать разнообразные танцевальные движения, совпадающие с ритмом. Затем генеративная модель ИИ объединила эти движения в хореографию, соответствующую ритму и стилю музыки. Танцевальные движения, созданные ИИ, добавляют музыкальным видео интересный визуальный элемент и помогают артистам проявлять больше творческой свободы.

Влияние на слушателей#

ИИ помогает слушателям лучше находить музыку и получать удовольствие от прослушивания. Платформы, такие как Spotify и Apple Music, используют ИИ для создания персонализированных плейлистов и рекомендаций новой музыки с учетом привычек пользователей. Когда ты находишь на этих платформах новых артистов и жанры, это магия ИИ.

Виртуальная реальность (VR) на основе ИИ также улучшает впечатления от концертов. Например, Трэвис Скотт использует VR для виртуальных выступлений, доступных зрителям по всему миру. Однако обилие музыки, созданной ИИ, на таких платформах, как TikTok, может затруднить поиск музыки. Новым артистам может быть сложно выделиться.

Рис. 4. ИИ открывает возможности для концертов в виртуальной реальности (VR).

Влияние на продюсеров#

ИИ приносит продюсерам пользу в нескольких отношениях. Инструменты ИИ для коррекции высоты тона, сведения и мастеринга оптимизируют производственный процесс. Виртуальные инструменты и синтезаторы на основе ИИ, такие как Watson Beat от IBM, позволяют создавать новые звуки и тембры, расширяя творческие возможности.

ИИ на стриминговых платформах полезен не только слушателям: он также помогает продюсерам находить более широкую аудиторию. Однако, как и музыкантов, продюсеров беспокоит способность ИИ имитировать стиль известных артистов; это поднимает этические и правовые вопросы об эксплуатации уникальных голосов и стилей артистов. В результате возникают правовые споры, например судебные иски, поданные крупными музыкальными компаниями, такими как Universal, Sony и Warner, против стартапов в области ИИ, таких как Suno и Udio, которые, предположительно, использовали защищенные авторским правом произведения для обучения своих моделей без разрешения.

Управление музыкальными библиотеками с помощью инструментов на основе ИИ, таких как MusicBrainz Picard#

Мы кратко рассмотрели некоторые способы применения ИИ в музыке и его влияние на разные группы участников музыкальной индустрии. Теперь разберемся в более конкретном применении ИИ в музыке: инструментах для управления музыкой с ИИ, таких как MusicBrainz Picard. Эти инструменты очень полезны для организации и управления цифровыми музыкальными библиотеками.

Рис. 5. Управлять музыкальными библиотеками можно с помощью ИИ.

Эти инструменты автоматически распознают музыкальные файлы и добавляют к ним точные метаданные, например имена исполнителей, названия альбомов и номера треков. MusicBrainz Picard упрощает организацию музыкальных коллекций. Одна из ключевых технологий, встроенных в MusicBrainz Picard, — акустические отпечатки AcoustID. Они позволяют распознавать музыкальные файлы по их фактическому аудиосодержимому, даже если в файлах нет метаданных.

Почему это так важно? Такие крупные организации, как BBC, Google, Amazon, Spotify и Pandora, используют данные MusicBrainz для улучшения своих музыкальных сервисов. Метаданные, созданные такими инструментами, как MusicBrainz Picard, крайне важны для разработчиков музыкальных баз данных, приложений для разметки и другого музыкального программного обеспечения. В основе ИИ лежат данные, и без таких инструментов, как Picard, было бы очень трудно получить чистые и точные данные, необходимые для анализа и разработки приложений. Примечательно, что инструменты на основе ИИ используют ИИ и помогают создавать данные, нужные для приложений ИИ, образуя взаимовыгодный цикл улучшения и инноваций.

Заключение об ИИ в музыке#

Мы обсудили, как ИИ меняет музыкальную индустрию. Меняется и правовое регулирование музыки, созданной ИИ. Согласно действующим нормам, например правилам Бюро авторского права США, произведения, полностью созданные ИИ, не могут охраняться авторским правом, поскольку у них нет автора-человека. Однако если человек в значительной степени участвует в творческом процессе, произведение может получить правовую охрану авторским правом. По мере интеграции ИИ в музыкальную индустрию постоянное обсуждение правовых и этических вопросов будет крайне важным для решения этих задач. В будущем ИИ откроет огромные возможности в музыке, объединяя технологии и человеческое творчество и расширяя горизонты создания и производства музыки.

Изучай ИИ: загляни в наш репозиторий на GitHub и присоединяйся к нашему активному сообществу. Узнай о применении ИИ в производстве и сельском хозяйстве на страницах наших решений.