ИИ в музыке: применение и инструменты, например MusicBrainz Picard

Искусственный интеллект (AI) — это попытка воссоздать человеческий интеллект в машинах. Важная часть человеческой природы — наша связь с искусством, особенно с музыкой. Музыка глубоко влияет на нашу культуру и эмоции. Благодаря достижениям в области ИИ машины теперь могут создавать музыку, звучащую так, будто ее сочинил человек. Музыка, созданная ИИ, открывает новые возможности для творческого сотрудничества людей и ИИ, а также меняет то, как мы воспринимаем музыку и взаимодействуем с ней.

В этой статье мы расскажем, как ИИ используют для создания музыки. Мы также обсудим связь ИИ с инструментами для разметки музыки, такими как MusicBrainz Picard, и их влияние на артистов, продюсеров и индустрию развлечений в целом.

Звуковой ИИ и его значение#

ИИ может работать с различными типами данных, в том числе со звуком. Звуковые данные, которые часто называют аудиоданными, представляют собой сочетание звуковых волн разной частоты и интенсивности, меняющихся во времени. Как и изображения или временные ряды, аудиоданные можно преобразовать в формат, который системы ИИ способны обрабатывать и анализировать. Звуковые волны можно преобразовать в числовые данные, пригодные для анализа моделями ИИ.

Еще один интересный метод — преобразование Фурье, которое позволяет преобразовать звуковые волны в спектрограмму. Спектрограмма — это наглядное представление того, как меняются со временем различные звуковые частоты. Модели ИИ могут применять методы распознавания изображений для анализа и интерпретации аудиоданных, рассматривая спектрограмму как изображение. ИИ может выявлять закономерности и признаки в звуке так же, как и в визуальных данных.

Рис. 1. Пример классификации звука с помощью ИИ.

Применение ИИ для анализа, преобразования и генерации аудиоданных открывает широкий спектр возможностей. Вот несколько примеров:

• Генерация и сочинение музыки: создание новой музыки на основе существующих композиций и помощь музыкантам с мелодиями, гармониями и ритмами.
• Улучшение звука и подавление шума: Повышение качества звука за счет уменьшения фонового шума в колл-центрах, слуховых аппаратах и программах для редактирования аудио.
• Составление краткого содержания подкастов: создание лаконичных обзоров выпусков подкастов, чтобы упростить их прослушивание.
• Распознавание эмоций по речи: Определение эмоций в речи для обслуживания клиентов, мониторинга психического здоровья и исследований пользовательского опыта.

Как работают генераторы песен на основе ИИ#

Генераторы песен на основе ИИ анализируют существующую музыку и обучаются на ней — примерно так же, как происходит генерация изображений. Важно понимать разницу между использованием ИИ для понимания музыки и использованием ИИ для ее генерации. Понимание музыки предполагает анализ и выявление закономерностей, а генерация музыки — создание новых композиций на основе усвоенных закономерностей.

Рис. 2. Сравнение понимания музыки с помощью ИИ и генерации музыки с помощью ИИ.

Процесс генерации музыки с помощью ИИ начинается со сбора большого набора данных, включающего музыку разных жанров и стилей. Затем набор данных разбивают на более мелкие элементы, такие как ноты, аккорды и ритмы, и преобразуют в числовые данные, которые может обрабатывать ИИ.

Существует множество разных генеративных моделей ИИ, которые можно обучить создавать музыку. Например, модели ИИ, такие как Transformers и вариационные автокодировщики (VAE), могут работать вместе над созданием музыки. VAE сжимают входные звуки в латентное пространство, располагая похожие музыкальные фрагменты близко друг к другу, чтобы передать разнообразие и богатство музыки. Затем Transformers используют это латентное пространство для создания новой музыки: они распознают закономерности и выделяют важные ноты в последовательности.

После обучения модели ИИ на этих данных ИИ может генерировать новую музыку, предсказывая следующую ноту или аккорд на основе усвоенного. Объединяя эти предсказания, модель может создавать целые композиции. Сгенерированную музыку можно доработать с учетом определенного стиля или предпочтений.

Мы уже видим все больше музыкальных генераторов, использующих эту технологию. Вот несколько примеров:

• MusicLM от Google: генерирует музыку по текстовым запросам, позволяя пользователям задавать жанр, настроение, инструменты и общее звучание.
• MusicGen от Meta: создает музыку по текстовым описаниям или существующим мелодиям, используя инструмент EnCodec для обработки аудиоданных.
• Stable Audio 2.0 от Stability AI: создает высококачественные аудиодорожки и звуковые эффекты на основе текстовых и аудиовходных данных, умеет генерировать полноценные треки и преобразовывать аудиосэмплы по запросу.

Влияние ИИ на музыкальную индустрию#

Инновации в области ИИ открывают новые возможности и создают новые вызовы для музыкантов, слушателей и продюсеров, ставя их в ситуации, с которыми они прежде не сталкивались. Интересно наблюдать, как представители каждой группы адаптируются к этим достижениям, осваивают новые инструменты и решают вопросы оригинальности и этики. Помимо создания музыки, ИИ обладает и другими перспективными возможностями в музыкальной индустрии: например, он может улучшать живые выступления, помогать находить музыку и участвовать в ее производстве. Давай подробнее рассмотрим, как ИИ влияет на музыкантов, слушателей и продюсеров.

Рис. 3. Влияние генеративного ИИ на музыкальную индустрию.

Влияние на музыкантов#

ИИ меняет подход музыкантов к созданию музыки. Инструменты на основе генеративного ИИ помогают создавать новые мелодии, последовательности аккордов и тексты песен, облегчая музыкантам преодоление творческого кризиса. ИИ также использовали для завершения незаконченных произведений, например новой песни The Beatles «Now And Then», созданной с использованием вокала Джона Леннона из старой демозаписи. Однако распространение музыки, созданной ИИ и имитирующей стиль известных артистов, вызывает опасения по поводу оригинальности. Например, такие артисты, как Bad Bunny, опасаются, что ИИ будет копировать их голоса и стили без согласия.

Помимо создания музыки, ИИ и компьютерное зрение могут помогать музыкантам готовить более впечатляющие выступления и музыкальные видео. Музыкальное видео состоит из множества элементов, и один из них — танец. Модели оценки позы, такие как Ultralytics YOLOv8, распознают позы людей на изображениях и видео и могут участвовать в создании танцевальных последовательностей, синхронизированных с музыкой.

Еще один наглядный пример применения ИИ в хореографии — проект NVIDIA «Dance to Music». В этом проекте использовали ИИ и двухэтапный процесс для генерации новых танцевальных движений, которые отличаются разнообразием, соответствуют стилю и попадают в ритм. Сначала с помощью оценки позы и кинематического детектора ритма на большом наборе танцевальных видео обучили систему распознавать разнообразные танцевальные движения, совпадающие с ритмом. Затем генеративная модель ИИ объединила эти движения в хореографию, соответствующую ритму и стилю музыки. Танцевальные движения, созданные ИИ, добавляют музыкальным видео интересный визуальный элемент и помогают артистам проявлять больше творческой свободы.

Влияние на слушателей#

ИИ может улучшить поиск музыки и впечатления от прослушивания. Платформы, такие как Spotify и Apple Music, используют ИИ, чтобы создавать персонализированные плейлисты и рекомендовать музыку с учетом привычек пользователей. Когда ты находишь новых исполнителей и жанры на этих платформах, зачастую это заслуга ИИ.

Виртуальная реальность (VR) на основе ИИ также улучшает впечатления от концертов. Например, Трэвис Скотт использует VR для виртуальных выступлений, доступных зрителям по всему миру. Однако обилие музыки, созданной ИИ, на таких платформах, как TikTok, может затруднить поиск музыки. Новым артистам может быть сложно выделиться.

Рис. 4. ИИ открывает возможности для концертов в виртуальной реальности (VR).

Влияние на продюсеров#

ИИ приносит продюсерам пользу в нескольких отношениях. Инструменты ИИ для коррекции высоты тона, сведения и мастеринга оптимизируют производственный процесс. Виртуальные инструменты и синтезаторы на основе ИИ, такие как Watson Beat от IBM, позволяют создавать новые звуки и тембры, расширяя творческие возможности.

ИИ на стриминговых платформах полезен не только слушателям: он также помогает продюсерам расширять аудиторию. Однако, как и музыкантов, многих беспокоит, что способность ИИ копировать стиль известных исполнителей порождает этические и правовые вопросы, связанные с эксплуатацией их уникальных голосов и манеры исполнения. Это привело к судебным спорам: крупные музыкальные компании, такие как Universal, Sony и Warner, подали иски против стартапов в сфере ИИ, например Suno и Udio, утверждая, что те без разрешения использовали защищенные авторским правом произведения для обучения своих моделей.

Управление музыкальными библиотеками с помощью инструментов на основе ИИ, таких как MusicBrainz Picard#

Мы кратко рассмотрели применение ИИ в музыке и его влияние на разные группы, работающие в музыкальной индустрии. Теперь рассмотрим более конкретный пример: инструменты управления музыкальной библиотекой с поддержкой ИИ, такие как MusicBrainz Picard. Они помогают организовывать цифровые музыкальные коллекции и управлять ими.

Рис. 5. Управлять музыкальными библиотеками можно с помощью ИИ.

Эти инструменты автоматически распознают музыкальные файлы и добавляют к ним точные метаданные, например имена исполнителей, названия альбомов и номера треков. MusicBrainz Picard упрощает организацию музыкальных коллекций. Одна из ключевых технологий, встроенных в MusicBrainz Picard, — акустические отпечатки AcoustID. Они позволяют распознавать музыкальные файлы по их фактическому аудиосодержимому, даже если в файлах нет метаданных.

Почему это так важно? Крупные организации, такие как BBC, Google, Amazon, Spotify и Pandora, используют данные MusicBrainz для улучшения своих музыкальных сервисов. Метаданные, создаваемые такими инструментами, как MusicBrainz Picard, крайне важны для разработчиков музыкальных баз данных, программ для разметки и другого программного обеспечения для работы с музыкой. В основе ИИ лежат данные, и без таких инструментов, как Picard, было бы очень трудно получить чистые и точные данные, необходимые для анализа и разработки приложений. Инструменты с поддержкой ИИ также помогают создавать данные для приложений ИИ, образуя полезный цикл постоянного совершенствования и инноваций.

Заключение об ИИ в музыке#

ИИ уже меняет музыкальную индустрию, и правовая база, регулирующая музыку, созданную ИИ, развивается вместе с ней. Согласно действующим правилам, например правилам Бюро по авторским правам США, произведения, полностью созданные ИИ, не могут охраняться авторским правом, поскольку у них нет автора-человека. Однако если человек вносит значительный вклад в творческий процесс, произведение может получить защиту авторского права. По мере дальнейшего внедрения ИИ в музыкальную индустрию открытые дискуссии о правовых и этических вопросах будут крайне важны для решения связанных с этим проблем. В будущем ИИ обладает огромным потенциалом в музыке: он сочетает технологии с человеческим творчеством и расширяет возможности создания и производства музыки.

Узнай больше об ИИ: посети наш репозиторий на GitHub и присоединяйся к нашему сообществу. На страницах наших решений ты найдешь информацию о применении ИИ в производстве и сельском хозяйстве.