ИИ в музыке: приложения и инструменты, такие как MusicBrainz Picard

Искусственный интеллект (ИИ) направлен на воссоздание человеческого интеллекта в машинах. Важная часть того, что делает нас людьми — это наша связь с искусством, особенно с музыкой. Музыка глубоко влияет на нашу культуру и эмоции. Благодаря достижениям в области ИИ машины теперь могут создавать музыку, которая звучит так, будто ее сочинили люди. ИИ в музыке открывает новые возможности для инновационного сотрудничества между людьми и ИИ, а также преображает то, как мы воспринимаем музыку и взаимодействуем с ней.

В этой статье мы рассмотрим, как ИИ используется для создания музыки. Мы также обсудим связь между ИИ и инструментами для тегирования музыки, такими как MusicBrainz Picard, и их влияние на артистов, продюсеров и индустрию развлечений в целом.

Link to this sectionЗвуковой ИИ и его значение#

ИИ может обрабатывать различные типы данных, включая звук. Звуковые данные, часто называемые аудиоданными, представляют собой смесь волновых частот с разной интенсивностью во времени. Как и изображения или временные ряды, аудиоданные можно преобразовать в формат, который ИИ-системы могут обрабатывать и анализировать. Звуковые волны преобразуются в числовые данные, которые могут быть проанализированы моделями ИИ.

Еще один интересный метод — использование преобразования Фурье, которое превращает звуковые волны в спектрограмму. Спектрограмма — это визуальное представление, показывающее, как разные частоты звука изменяются во времени. Модели ИИ могут применять методы распознавания изображений для анализа и интерпретации аудиоданных, работая со спектрограммой как с изображением. ИИ может выявлять закономерности и особенности звука точно так же, как он делает это с визуальными данными.

Рис. 1. Пример классификации звука с помощью ИИ.

Использование ИИ для анализа, обработки и генерации аудиоданных создает целый спектр приложений. Вот несколько примеров:

• Генерация и сочинение музыки: создание новой музыки путем обучения на существующих композициях и помощь музыкантам в написании мелодий, гармоний и ритмов.
• Улучшение аудио и шумоподавление: повышение качества звука путем уменьшения фонового шума для колл-центров, слуховых аппаратов и редактирования аудио.
• Создание краткого содержания подкастов: генерация кратких сводок эпизодов подкастов для более удобного потребления контента.
• Распознавание эмоций в речи: определение эмоций в речи для обслуживания клиентов, мониторинга психического здоровья и исследований пользовательского опыта.

Link to this sectionПонимание того, как работают ИИ-генераторы песен#

ИИ-генераторы песен работают, анализируя существующую музыку и обучаясь на ней, подобно генерации изображений. Важно понимать разницу между использованием ИИ для понимания музыки и использованием ИИ для ее генерации. Понимание музыки включает в себя анализ и выявление закономерностей, в то время как генерация музыки предполагает создание новых композиций на основе этих изученных закономерностей.

Рис. 2. Сравнение понимания музыки с помощью ИИ и генерации музыки ИИ.

Процесс генерации музыки с помощью ИИ начинается со сбора большого набора данных, включающего различные жанры и стили. Затем этот набор данных разбивается на более мелкие компоненты, такие как ноты, аккорды и ритмы, которые преобразуются в числовые данные, доступные для обработки ИИ.

Существует множество различных генеративных ИИ-моделей, которые можно обучить для генерации музыки. Например, модели ИИ, такие как Transformer и вариационные автокодировщики (VAE), могут работать вместе для создания музыки. VAE могут сжимать входные звуки в латентное пространство, группируя похожие музыкальные фрагменты близко друг к другу, чтобы уловить разнообразие и богатство музыки. Затем модели Transformer используют это латентное пространство для генерации новой музыки, понимая закономерности и фокусируясь на важных нотах в последовательности.

Как только модель ИИ обучена на этих данных, она может генерировать новую музыку, предсказывая следующую ноту или аккорд на основе того, чему она научилась. Она может создавать целые композиции, выстраивая эти предсказания в цепочку. Сгенерированную музыку можно донастроить (fine-tune) в соответствии с конкретными стилями или предпочтениями.

Мы начинаем видеть все больше музыкальных генераторов, использующих эту технологию. Вот некоторые из них:

• MusicLM от Google: генерирует музыку на основе текстовых промптов, позволяя пользователям указывать жанр, настроение, инструменты и общее звучание.
• MusicGen от Meta: создает музыку по текстовым описаниям или существующим мелодиям, используя инструмент под названием EnCodec для обработки аудиоданных.
• Stable Audio 2.0 от Stability AI: создает высококачественные аудиодорожки и звуковые эффекты из текста и аудиовходов, способен создавать полноценные треки и преобразовывать аудиосэмплы на основе промптов.

Link to this sectionВлияние ИИ на музыкальную индустрию#

ИИ-инновации создают новые возможности и проблемы для музыкантов, слушателей и продюсеров, приводя к ситуациям, с которыми они раньше не сталкивались. Интересно наблюдать, как каждая группа адаптируется к этим достижениям, используя новые инструменты и преодолевая опасения по поводу оригинальности и этики. Помимо генерации музыки, ИИ обладает и другим захватывающим потенциалом в музыкальной индустрии, например, улучшением живых выступлений, совершенствованием поиска музыки и помощью в производственных процессах. Давайте подробнее рассмотрим, как ИИ влияет на музыкантов, слушателей и продюсеров в музыкальной индустрии.

Рис. 3. Влияние генеративного ИИ на музыкальную индустрию.

Link to this sectionВлияние на музыкантов#

ИИ меняет то, как музыканты создают музыку. Инструменты, интегрированные с генеративным ИИ, помогают создавать новые мелодии, аккордовые прогрессии и тексты, что облегчает музыкантам преодоление творческих кризисов. ИИ также использовался для завершения незаконченных работ, например, новой песни The Beatles "Now And Then", созданной с использованием вокала Джона Леннона со старой демо-записи. Однако рост популярности ИИ-сгенерированной музыки, имитирующей стиль известных артистов, вызывает опасения по поводу оригинальности. Например, такие артисты, как Bad Bunny, обеспокоены тем, что ИИ копирует их голоса и стили без согласия.

Помимо создания музыки, ИИ и компьютерное зрение помогают музыкантам лучше ставить выступления и снимать музыкальные клипы. Музыкальный клип состоит из множества разных элементов, и один из них — танец. Модели оценки поз, такие как Ultralytics YOLOv8, могут понимать человеческие позы на изображениях и видео и играть важную роль в создании хореографических танцевальных последовательностей, синхронизированных с музыкой.

Еще один хороший пример того, как ИИ можно использовать для хореографии — это проект NVIDIA "Dance to Music". В этом проекте они использовали ИИ и двухэтапный процесс для генерации новых танцевальных движений, которые являются разнообразными, стилистически последовательными и соответствуют биту. Сначала оценка позы и кинематический детектор битов использовались для изучения различных танцевальных движений под бит из большой коллекции танцевальных видео. Затем генеративная модель ИИ использовалась для организации этих танцевальных движений в хореографию, которая соответствовала ритму и стилю музыки. Танцевальные движения, поставленные ИИ, добавляют интересный визуальный элемент в музыкальные клипы и помогают артистам быть более креативными.

Link to this sectionВлияние на слушателей#

Для слушателей ИИ может улучшить поиск музыки и качество прослушивания. Платформы, такие как Spotify и Apple Music, используют ИИ для формирования персонализированных плейлистов и рекомендации новой музыки на основе привычек прослушивания пользователей. Когда ты открываешь новых артистов и жанры на этих платформах, это магия ИИ.

Виртуальная реальность (VR) на базе ИИ также улучшает впечатления от живых концертов. Например, Travis Scott использует VR для создания виртуальных выступлений, которые охватывают аудиторию по всему миру. Однако избыток ИИ-сгенерированной музыки на таких платформах, как TikTok, может сделать поиск музыки утомительным. Это может затруднить выделение новых артистов.

Рис. 4. ИИ делает возможным опыт виртуальной реальности (VR) на концертах.

Link to this sectionВлияние на продюсеров#

Продюсеры получают выгоду от ИИ по нескольким направлениям. ИИ-инструменты, помогающие с коррекцией высоты тона, сведением и мастерингом, упрощают производственный процесс. Виртуальные инструменты и синтезаторы на базе ИИ, такие как Watson Beat от IBM, могут создавать новые звуки и текстуры, которые расширяют творческие возможности.

ИИ на стриминговых платформах — это польза не только для слушателей; он также помогает продюсерам, создавая более широкую аудиторию. Однако, как и в случае с музыкантами, способность ИИ имитировать стиль признанных артистов поднимает этические и правовые вопросы об использовании уникальных голосов и стилей артистов. Это привело к судебным спорам, таким как иск от крупных музыкальных компаний, таких как Universal, Sony и Warner, против ИИ-стартапов, таких как Suno и Udio, за предполагаемое использование защищенных авторским правом произведений для обучения их моделей без разрешения.

Link to this sectionУправление музыкальными библиотеками с помощью ИИ-интегрированных инструментов, таких как MusicBrainz Picard#

Мы вкратце изучили некоторые применения ИИ в музыке, понимая его влияние на различные заинтересованные стороны в музыкальной индустрии. Теперь давай разберемся с более специфическим применением ИИ в музыке: инструменты для управления музыкой с расширенными возможностями ИИ, такие как MusicBrainz Picard. Эти инструменты невероятно полезны для организации и управления цифровыми музыкальными библиотеками.

Рис. 5. Музыкальными библиотеками можно управлять с помощью ИИ.

Они автоматически идентифицируют и помечают музыкальные файлы точными метаданными, такими как имена исполнителей, названия альбомов и номера треков. MusicBrainz Picard облегчает поддержание порядка в музыкальных коллекциях. Одной из ключевых технологий, интегрированных в MusicBrainz Picard, являются аудиоотпечатки AcoustID. Эти отпечатки идентифицируют музыкальные файлы на основе их фактического аудиосодержимого, даже если в файлах отсутствуют метаданные.

Почему это так важно? Крупные организации, такие как BBC, Google, Amazon, Spotify и Pandora, полагаются на данные MusicBrainz для улучшения своих музыкальных сервисов. Метаданные, созданные такими инструментами, как MusicBrainz Picard, имеют решающее значение для разработчиков, создающих музыкальные базы данных, приложения для тегирования или другое музыкальное программное обеспечение. Основа ИИ — это данные, и без таких инструментов, как Picard, было бы очень трудно получить чистые и точные данные, необходимые для анализа и разработки приложений. Удивительно, что инструменты с поддержкой ИИ используют ИИ и помогают создавать данные, необходимые для ИИ-приложений, формируя благотворный цикл улучшений и инноваций.

Link to this sectionЗаключительные заметки об ИИ в музыке#

Мы обсудили волну, которую создает ИИ в музыке. Юридический ландшафт вокруг музыки, созданной ИИ, также меняется. Действующие нормы, такие как нормы Бюро авторского права США, гласят, что произведения, полностью созданные ИИ, не могут быть защищены авторским правом, поскольку в них отсутствует человеческое авторство. Однако, если человек вносит существенный вклад в творческий процесс, произведение может претендовать на защиту авторским правом. Поскольку ИИ продолжает интегрироваться в музыкальную индустрию, продолжающиеся правовые и этические дискуссии будут жизненно важны для решения этих проблем. Заглядывая вперед, ИИ обладает огромным потенциалом в музыке, сочетая технологии с человеческим творчеством для расширения возможностей создания и производства музыки.

Изучи ИИ, посетив наш репозиторий на GitHub и присоединившись к нашему активному сообществу. Узнай о применениях ИИ в производстве и сельском хозяйстве на наших страницах решений.