ИИ в музыке: применения и инструменты, такие как MusicBrainz Picard

Искусственный интеллект (AI) — это воссоздание человеческого интеллекта в машинах. Важная часть человеческой природы — наша связь с искусством, особенно с музыкой. Музыка глубоко влияет на нашу культуру и эмоции. Благодаря достижениям в области AI машины теперь могут создавать музыку, звучащую так, будто её сочинил человек. Музыка, создаваемая с помощью AI, открывает новые возможности для инновационного сотрудничества людей и AI, а также меняет наше восприятие музыки и взаимодействие с ней.

В этой статье мы рассмотрим, как AI используется для создания музыки. Мы также обсудим связь между AI и инструментами для разметки музыки, такими как MusicBrainz Picard, и их влияние на артистов, продюсеров и индустрию развлечений в целом.

Звуковой AI и его значение#

AI может работать с различными типами данных, включая звук. Звуковые данные, часто называемые аудиоданными, представляют собой сочетание волн разных частот и интенсивности, изменяющихся во времени. Как и изображения или данные временных рядов, аудиоданные можно преобразовать в формат, который системы AI могут обрабатывать и анализировать. Звуковые волны можно преобразовать в числовые данные, анализируемые моделями AI.

Ещё один интересный метод — использование преобразований Фурье, которые преобразуют звуковые волны в спектрограмму. Спектрограмма — это визуальное представление, показывающее, как различные звуковые частоты меняются во времени. Модели AI могут применять методы распознавания изображений для анализа и интерпретации аудиоданных, рассматривая спектрограмму как изображение. AI может выявлять закономерности и особенности в звуке так же, как при работе с визуальными данными.

Рис. 1. Пример классификации звука с помощью AI.

Использование AI для анализа, обработки и генерации аудиоданных открывает широкий спектр применений. Вот несколько примеров:

• Генерация и сочинение музыки: создание новой музыки на основе изучения существующих композиций и помощь музыкантам в работе с мелодиями, гармониями и ритмами.
• Улучшение аудио и шумоподавление: повышение качества аудио за счёт снижения фонового шума для колл-центров, слуховых аппаратов и редактирования аудио.
• Создание кратких изложений подкастов: генерация ёмких резюме эпизодов подкастов для более удобного потребления контента.
• Распознавание эмоций по речи: выявление эмоций в речи для обслуживания клиентов, мониторинга психического здоровья и исследования пользовательского опыта.

Как работают генераторы песен на основе AI#

Генераторы песен на основе AI работают, анализируя и изучая существующую музыку, подобно генерации изображений. Важно понимать разницу между использованием AI для понимания музыки и его использованием для её генерации. Понимание музыки включает анализ и выявление закономерностей, а генерация музыки — создание новых композиций на основе изученных закономерностей.

Рис. 2. Сравнение понимания музыки с помощью AI и генерации музыки с помощью AI.

Процесс генерации музыки с помощью AI начинается со сбора большого набора музыкальных данных, включающего различные жанры и стили. Затем набор данных разбивается на более мелкие компоненты, такие как ноты, аккорды и ритмы, которые преобразуются в числовые данные для обработки AI.

Существует множество различных моделей генеративного AI, которые можно обучить генерировать музыку. Например, модели AI, такие как Transformer и вариационные автокодировщики (VAEs), могут работать вместе для генерации музыки. VAEs сжимают входные звуки в латентное пространство, группируя похожие фрагменты музыки, чтобы сохранить её разнообразие и насыщенность. Затем Transformer использует это латентное пространство для генерации новой музыки, выявляя закономерности и сосредотачиваясь на важных нотах в последовательности.

После обучения модели AI на этих данных AI может генерировать новую музыку, предсказывая следующую ноту или аккорд на основе изученного. Она может создавать целые композиции, объединяя эти предсказания. Сгенерированную музыку можно дорабатывать в соответствии с определёнными стилями или предпочтениями.

Мы начинаем видеть всё больше генераторов музыки, использующих эту технологию. Вот несколько примеров:

• MusicLM от Google: генерирует музыку на основе текстовых запросов, позволяя пользователям задавать жанр, настроение, инструменты и общее звучание.
• MusicGen от Meta: создаёт музыку по текстовым описаниям или существующим мелодиям, используя инструмент EnCodec для обработки аудиоданных.
• Stable Audio 2.0 от Stability AI: создаёт высококачественные аудиотреки и звуковые эффекты на основе текстовых и аудиовходных данных, умеет создавать полноценные треки и преобразовывать аудиосэмплы по запросам.

Влияние AI на музыкальную индустрию#

Инновации в области AI создают новые возможности и проблемы для музыкантов, слушателей и продюсеров, приводя к ситуациям, с которыми они раньше могли не сталкиваться. Интересно наблюдать, как каждая группа адаптируется к этим достижениям, использует новые инструменты и решает вопросы оригинальности и этики. Помимо генерации музыки, AI обладает и другим значительным потенциалом в музыкальной индустрии: например, улучшает живые выступления, помогает находить новую музыку и поддерживает производственные процессы. Давай подробнее рассмотрим, как AI влияет на музыкантов, слушателей и продюсеров в музыкальной индустрии.

Рис. 3. Влияние генеративного AI на музыкальную индустрию.

Влияние на музыкантов#

AI меняет подход музыкантов к созданию музыки. Инструменты на основе генеративного AI помогают создавать новые мелодии, последовательности аккордов и тексты песен, облегчая преодоление творческого кризиса. AI также использовался для завершения незаконченных произведений, например новой песни The Beatles «Now And Then», созданной с использованием вокала John Lennon из старой демозаписи. Однако рост популярности музыки, созданной AI и имитирующей стиль известных артистов, вызывает опасения по поводу оригинальности. Например, такие артисты, как Bad Bunny, обеспокоены тем, что AI может без согласия воспроизводить их голоса и стили.

Помимо создания музыки, AI и компьютерное зрение могут помогать музыкантам улучшать выступления и музыкальные видео. Музыкальное видео состоит из множества различных элементов, и один из них — танец. Модели оценки позы, такие как Ultralytics YOLOv8, могут распознавать позы людей на изображениях и видео и участвовать в создании хореографических танцевальных последовательностей, синхронизированных с музыкой.

Ещё один хороший пример использования AI для хореографии — проект NVIDIA «Dance to Music». В этом проекте AI и двухэтапный процесс использовались для генерации новых танцевальных движений, разнообразных, выдержанных в едином стиле и соответствующих ритму. Сначала оценка позы и кинематический детектор ритма использовались для изучения различных танцевальных движений в такт на основе большой коллекции танцевальных видео. Затем генеративная модель AI организовывала эти движения в хореографию, соответствующую ритму и стилю музыки. Танцевальные движения, созданные AI, добавляют интересный визуальный элемент в музыкальные видео и помогают артистам проявлять больше творчества.

Влияние на слушателей#

Для слушателей AI может улучшить поиск музыки и впечатления от прослушивания. Платформы, такие как Spotify и Apple Music, используют AI для создания персонализированных плейлистов и рекомендации новой музыки на основе привычек пользователей. Когда ты находишь новых артистов и жанры на этих платформах, в этом проявляется магия AI.

Виртуальная реальность (VR) на основе AI также улучшает впечатления от живых концертов. Например, Travis Scott использует VR для создания виртуальных выступлений, доступных глобальной аудитории. Однако изобилие музыки, созданной AI, на таких платформах, как TikTok, может сделать поиск музыки слишком сложным. Из-за этого новым артистам может быть трудно выделиться.

Рис. 4. AI делает возможными концерты в виртуальной реальности (VR).

Влияние на продюсеров#

Продюсеры получают от AI несколько преимуществ. Инструменты AI для коррекции высоты тона, сведения и мастеринга упрощают производственный процесс. Виртуальные инструменты и синтезаторы на основе AI, такие как Watson Beat от IBM, могут создавать новые звуки и тембры, расширяя творческие возможности.

AI на стриминговых платформах полезен не только слушателям: он также помогает продюсерам расширять аудиторию. Однако, как и музыканты, продюсеры обеспокоены тем, что способность AI имитировать стиль известных артистов создаёт этические и юридические проблемы, связанные с эксплуатацией уникальных голосов и стилей артистов. Это привело к юридическим спорам, например к судебным искам крупных музыкальных компаний Universal, Sony и Warner против AI-стартапов Suno и Udio, которые, предположительно, использовали защищённые авторским правом произведения для обучения своих моделей без разрешения.

Управление музыкальными библиотеками с помощью интегрированных с AI инструментов, таких как MusicBrainz Picard#

Мы кратко рассмотрели некоторые применения AI в музыке, изучив его влияние на разные группы участников музыкальной индустрии. Теперь давай рассмотрим более конкретное применение AI в музыке: усовершенствованные с помощью AI инструменты управления музыкой, такие как MusicBrainz Picard. Эти инструменты исключительно полезны для организации и управления цифровыми музыкальными библиотеками.

Рис. 5. Управлять музыкальными библиотеками можно с помощью AI.

Они автоматически распознают музыкальные файлы и добавляют к ним точные метаданные, такие как имена артистов, названия альбомов и номера треков. MusicBrainz Picard упрощает поддержание порядка в музыкальных коллекциях. Одна из ключевых технологий, интегрированных в MusicBrainz Picard, — это аудиофингерпринты AcoustID. Эти фингерпринты распознают музыкальные файлы по их фактическому аудиосодержимому, даже если в файлах отсутствуют метаданные.

Почему это так важно? Такие крупные организации, как BBC, Google, Amazon, Spotify и Pandora, используют данные MusicBrainz для улучшения своих музыкальных сервисов. Метаданные, создаваемые такими инструментами, как MusicBrainz Picard, крайне важны для разработчиков, создающих музыкальные базы данных, приложения для разметки или другое программное обеспечение, связанное с музыкой. В основе AI лежат данные, и без таких инструментов, как Picard, было бы очень трудно получить чистые и точные данные, необходимые для анализа и разработки приложений. Удивительно, что инструменты, усовершенствованные с помощью AI, используют AI и помогают создавать данные, необходимые для приложений AI, формируя благоприятный цикл улучшений и инноваций.

Итоги об AI в музыке#

Мы обсудили волну изменений, которую AI создаёт в музыке. Правовое регулирование музыки, созданной AI, также развивается. Согласно действующим нормам, например положениям Бюро авторского права США, произведения, полностью созданные AI, не могут быть защищены авторским правом, поскольку у них отсутствует авторство человека. Однако если человек вносит существенный вклад в творческий процесс, произведение может получить защиту авторского права. По мере дальнейшего внедрения AI в музыкальную индустрию постоянное обсуждение правовых и этических вопросов будет необходимо для решения этих проблем. В будущем AI обладает огромным потенциалом в музыке, объединяя технологии и человеческое творчество для расширения возможностей создания музыки и продакшена.

Изучай AI, посетив наш репозиторий на GitHub и присоединившись к нашему активному сообществу. Узнай больше о применении AI в производстве и сельском хозяйстве на страницах наших решений.