ИИ в музыке: приложения и инструменты, такие как MusicBrainz Picard

Искусственный интеллект (ИИ) стремится воссоздать человеческий интеллект в машинах. Важной частью нашей человеческой природы является связь с искусством, особенно с музыкой. Музыка глубоко влияет на нашу культуру и эмоции. Благодаря достижениям в области ИИ машины теперь могут создавать музыку, которая звучит так, будто ее сочинили люди. Музыка ИИ открывает новые возможности для инновационного сотрудничества между людьми и ИИ и преобразует то, как мы воспринимаем музыку и взаимодействуем с ней.

В этой статье мы рассмотрим, как ИИ используется для создания музыки. Мы также обсудим связь между ИИ и инструментами для тегирования музыки, такими как MusicBrainz Picard, и их влияние на артистов, продюсеров и индустрию развлечений в целом.

Звуковой ИИ и его значение#

ИИ может обрабатывать различные типы данных, включая звук. Звуковые данные, часто называемые аудиоданными, представляют собой смесь волновых частот с разной интенсивностью во времени. Как и изображения или временные ряды, аудиоданные можно преобразовать в формат, который ИИ-системы могут обрабатывать и анализировать. Звуковые волны преобразуются в числовые данные, которые могут быть проанализированы моделями ИИ.

Другой интересный метод заключается в использовании преобразований Фурье, которые преобразуют звуковые волны в спектрограмму. Спектрограмма — это визуальное представление, показывающее, как различные частоты звука изменяются во времени. Модели ИИ могут применять методы распознавания образов для анализа и интерпретации аудиоданных, рассматривая эту спектрограмму как изображение. ИИ может выявлять закономерности и особенности в звуке точно так же, как он делает это с визуальными данными.

Рис. 1. Пример классификации звука с помощью ИИ.

Использование ИИ для анализа, обработки и генерации аудиоданных создает целый спектр приложений. Вот несколько примеров:

• Генерация и сочинение музыки: создание новой музыки путем обучения на существующих композициях и помощь музыкантам в написании мелодий, гармоний и ритмов.
• Улучшение звука и шумоподавление: повышение качества звука за счет уменьшения фонового шума для центров обработки вызовов, слуховых аппаратов и редактирования аудио.
• Создание краткого содержания подкастов: генерация кратких сводок эпизодов подкастов для более удобного потребления контента.
• Определение эмоций по речи: обнаружение эмоций в речи для обслуживания клиентов, мониторинга психического здоровья и исследований пользовательского опыта.

Понимание того, как работают ИИ-генераторы песен#

Генераторы песен на базе ИИ работают путем анализа существующей музыки и обучения на ней, аналогично генерации изображений. Важно понимать разницу между использованием ИИ для понимания музыки и использованием ИИ для ее генерации. Понимание музыки включает в себя анализ и выявление закономерностей, в то время как генерация музыки предполагает создание новых композиций на основе этих изученных закономерностей.

Рис. 2. Сравнение понимания музыки с помощью ИИ и генерации музыки ИИ.

Процесс генерации музыки с помощью ИИ начинается со сбора большого набора данных, включающего различные жанры и стили. Затем этот набор данных разбивается на более мелкие компоненты, такие как ноты, аккорды и ритмы, которые преобразуются в числовые данные, доступные для обработки ИИ.

Существует много различных моделей генеративного ИИ, которые можно обучить создавать музыку. Например, такие модели ИИ, как Transformer и вариационные автоэнкодеры (VAE), могут работать вместе для создания музыки. VAE могут сжимать входные звуки в латентное пространство, тесно группируя похожие музыкальные фрагменты для отражения разнообразия и богатства музыки. Затем модели Transformer используют это латентное пространство для создания новой музыки, понимая закономерности и уделяя особое внимание важным нотам в последовательности.

Как только модель ИИ обучена на этих данных, она может генерировать новую музыку, предсказывая следующую ноту или аккорд на основе того, чему она научилась. Она может создавать целые композиции, выстраивая эти предсказания в цепочку. Сгенерированную музыку можно донастроить (fine-tune) в соответствии с конкретными стилями или предпочтениями.

Мы начинаем видеть все больше музыкальных генераторов, использующих эту технологию. Вот некоторые из них:

• MusicLM от Google: генерирует музыку на основе текстовых промптов, позволяя пользователям указывать жанр, настроение, инструменты и общее звучание.
• MusicGen от Meta: создает музыку по текстовым описаниям или существующим мелодиям, используя инструмент под названием EnCodec для обработки аудиоданных.
• Stable Audio 2.0 от Stability AI: создает высококачественные аудиодорожки и звуковые эффекты из текста и аудиовходов, способен создавать полноценные треки и преобразовывать аудиосэмплы на основе промптов.

Влияние ИИ на музыкальную индустрию#

Инновации в области ИИ создают новые возможности и проблемы для музыкантов, слушателей и продюсеров, приводя к ситуациям, с которыми они раньше не сталкивались. Интересно наблюдать, как каждая группа адаптируется к этим достижениям, использует новые инструменты и решает вопросы, связанные с оригинальностью и этикой. Помимо создания музыки, ИИ обладает другими захватывающими перспективами в музыкальной индустрии, такими как улучшение живых выступлений, облегчение поиска музыки и помощь в производственных процессах. Давайте подробнее рассмотрим, как ИИ влияет на музыкантов, слушателей и продюсеров в музыкальной индустрии.

Рис. 3. Влияние генеративного ИИ на музыкальную индустрию.

Влияние на музыкантов#

ИИ меняет то, как музыканты создают музыку. Инструменты, интегрированные с генеративным ИИ, могут помочь генерировать новые мелодии, последовательности аккордов и тексты, помогая музыкантам преодолевать творческий кризис. ИИ также используется для завершения незавершенных произведений, таких как новая песня группы The Beatles "Now And Then," созданная с использованием вокала Джона Леннона из старой демозаписи. Однако рост популярности музыки, созданной ИИ и имитирующей стиль известных артистов, вызывает озабоченность по поводу оригинальности. Например, такие артисты, как Bad Bunny, обеспокоены тем, что ИИ копирует их голоса и стили без их согласия.

Помимо создания музыки, ИИ и компьютерное зрение могут помочь музыкантам создавать более качественные выступления и музыкальные видеоклипы. Музыкальное видео состоит из множества различных элементов, и одним из таких элементов являются танцы. Модели оценки позы, такие как Ultralytics YOLOv8, могут распознавать позы человека на изображениях и видео и играть роль в создании хореографических танцевальных последовательностей, синхронизированных с музыкой.

Другой хороший пример того, как ИИ может использоваться для хореографии, — это проект NVIDIA "Dance to Music." В этом проекте они использовали ИИ и двухэтапный процесс для генерации новых танцевальных движений, которые являются разнообразными, выдержанными в едином стиле и соответствуют ритму. Сначала с помощью оценки позы и кинематического детектора ритма были изучены различные танцевальные движения под бит из большой коллекции видеозаписей танцев. Затем модель генеративного ИИ использовалась для организации этих танцевальных движений в хореографию, соответствующую ритму и стилю музыки. Танцевальные движения, поставленные с помощью ИИ, добавляют интересный визуальный элемент в музыкальные клипы и помогают артистам проявлять больше творчества.

Влияние на слушателей#

Для слушателей ИИ может улучшить поиск музыки и процесс ее прослушивания. Такие платформы, как Spotify и Apple Music, используют ИИ для составления персонализированных плейлистов и рекомендации новой музыки на основе привычек пользователей. Когда ты открываешь для себя новых артистов и жанры на этих платформах, это магия ИИ.

Виртуальная реальность (VR) на базе ИИ также улучшает впечатления от живых концертов. Например, Travis Scott использует VR для создания виртуальных выступлений, охватывающих глобальную аудиторию. Однако изобилие музыки, созданной ИИ, на таких платформах, как TikTok, может сделать поиск музыки утомительным. Это может затруднить для новых артистов выделение на общем фоне.

Рис. 4. ИИ делает возможными концерты в виртуальной реальности (VR).

Влияние на продюсеров#

Продюсеры получают выгоду от ИИ по нескольким направлениям. ИИ-инструменты, помогающие с коррекцией высоты тона, сведением и мастерингом, упрощают производственный процесс. Виртуальные инструменты и синтезаторы на базе ИИ, такие как Watson Beat от IBM, могут создавать новые звуки и текстуры, которые расширяют творческие возможности.

ИИ на стриминговых платформах — это не только польза для слушателей; он также помогает продюсерам, формируя более широкую аудиторию. Однако, как и музыканты, те выражают обеспокоенность: способность ИИ имитировать стиль известных артистов порождает этические и юридические проблемы, связанные с эксплуатацией уникальных голосов и стилей исполнителей. Это привело к судебным спорам, включая иски от крупных музыкальных компаний, таких как Universal, Sony и Warner, против музыкальных стартапов вроде Suno и Udio в связи с предполагаемым использованием ими материалов, защищенных авторским правом, для обучения своих моделей без разрешения.

Управление музыкальными библиотеками с помощью ИИ-интегрированных инструментов, таких как MusicBrainz Picard#

Мы вкратце изучили некоторые применения ИИ в музыке, понимая его влияние на различные заинтересованные стороны в музыкальной индустрии. Теперь давай разберемся с более специфическим применением ИИ в музыке: инструменты для управления музыкой с расширенными возможностями ИИ, такие как MusicBrainz Picard. Эти инструменты невероятно полезны для организации и управления цифровыми музыкальными библиотеками.

Рис. 5. Музыкальными библиотеками можно управлять с помощью ИИ.

Они автоматически идентифицируют и помечают музыкальные файлы точными метаданными, такими как имена исполнителей, названия альбомов и номера треков. MusicBrainz Picard облегчает поддержание порядка в музыкальных коллекциях. Одной из ключевых технологий, интегрированных в MusicBrainz Picard, являются аудиоотпечатки AcoustID. Эти отпечатки идентифицируют музыкальные файлы на основе их фактического аудиосодержимого, даже если в файлах отсутствуют метаданные.

Почему это так важно? Крупные организации, такие как BBC, Google, Amazon, Spotify и Pandora, полагаются на данные MusicBrainz для улучшения своих музыкальных сервисов. Метаданные, создаваемые такими инструментами, как MusicBrainz Picard, имеют решающее значение для разработчиков, создающих музыкальные базы данных, приложения для тегов или другое музыкальное программное обеспечение. Основой ИИ являются данные, и без таких инструментов, как Picard, было бы очень трудно получить чистые и точные данные, необходимые для анализа и разработки приложений. Удивительно, что инструменты с поддержкой ИИ используют ИИ и помогают создавать данные, необходимые для приложений ИИ, образуя выгодный цикл улучшений и инноваций.

Заключительные заметки об ИИ в музыке#

Мы обсудили волну изменений, которую поднимает ИИ в музыке. Юридический ландшафт вокруг созданной ИИ музыки также эволюционирует. Текущие правила, такие как положения Бюро авторского права США, устанавливают, что произведения, созданные исключительно ИИ, не могут быть защищены авторским правом, поскольку им не хватает человеческого авторства. Однако, если человек вносит значительный вклад в творческий процесс, произведение может претендовать на защиту авторским правом. Поскольку ИИ продолжает интегрироваться в музыкальную индустрию, текущие юридические и этические дискуссии будут иметь жизненно важное значение для преодоления этих трудностей. Заглядывая в будущее, можно сказать, что ИИ обладает огромным потенциалом в музыке, объединяя технологии с человеческим творчеством для расширения возможностей создания музыки и производства.

Изучай ИИ, посещая наш репозиторий GitHub и присоединяясь к нашему активному сообществу. Узнай о применениях ИИ в производстве и сельском хозяйстве на наших страницах решений.