ИИ в музыке: Приложения и инструменты, такие как MusicBrainz Picard

Абирами Вина

5 минут чтения

12 июля 2024 г.

Присоединяйтесь к нам для глубокого погружения в роль искусственного интеллекта в музыке - от анализа аудиоданных до создания новой музыки. Изучите его влияние и применение в музыкальной индустрии.

Искусственный интеллект (ИИ) - это воссоздание человеческого интеллекта в машинах. Важной частью человеческого бытия является наша связь с искусством, особенно с музыкой. Музыка оказывает глубокое влияние на нашу культуру и эмоции. Благодаря достижениям в области ИИ машины теперь могут создавать музыку, которая звучит так, будто ее написал человек. ИИ-музыка открывает новые возможности для инновационного сотрудничества между людьми и ИИ и меняет то, как мы воспринимаем музыку и взаимодействуем с ней.

В этой статье мы рассмотрим, как ИИ используется для создания музыки. Мы также обсудим связь между ИИ и инструментами для маркировки музыки, такими как MusicBrainz Picard, и их влияние на артистов, продюсеров и индустрию развлечений в целом.

Звуковой искусственный интеллект и его значение

ИИ может работать с различными типами данных, в том числе со звуком. Звуковые данные, часто называемые аудиоданными, представляют собой смесь частот волн различной интенсивности в течение определенного времени. Как и изображения или временные ряды, звуковые данные можно преобразовать в формат, который системы ИИ могут обрабатывать и анализировать. Звуковые волны можно преобразовать в числовые данные, которые могут быть проанализированы моделями ИИ.

Еще один интересный метод - использование преобразования Фурье, которое преобразует звуковые волны в спектрограмму. Спектрограмма - это визуальное представление, которое показывает, как меняются различные частоты звука с течением времени. Модели ИИ могут применять методы распознавания образов для анализа и интерпретации аудиоданных, рассматривая спектрограмму как изображение. ИИ может выявлять закономерности и особенности в звуке, как и в визуальных данных.

__wf_reserved_inherit
Рис. 1. Пример классификации звука искусственным интеллектом.

Использование ИИ для анализа, манипулирования и генерирования аудиоданных создает целый ряд приложений. Вот несколько примеров:

  • Генерация и сочинение музыки: Создание новой музыки на основе существующих композиций и помощь музыкантам в работе над мелодиями, гармониями и ритмами.
  • Улучшение качества звука и шумоподавление: Улучшение качества звука за счет снижения фонового шума для центров обработки вызовов, слуховых аппаратов и редактирования аудио.
  • Резюмирование подкастов: Создание кратких резюме эпизодов подкастов для более удобного потребления контента.
  • Обнаружение эмоций в речи: Обнаружение эмоций в речи для обслуживания клиентов, мониторинга психического здоровья и исследования пользовательского опыта.

Понимание того, как работают генераторы песен ИИ

ИИ-генераторы песен работают, анализируя и обучаясь на основе существующей музыки, подобно генерации изображений. Важно понимать разницу между использованием ИИ для понимания музыки и использованием ИИ для ее создания. Понимание музыки предполагает анализ и выявление закономерностей, в то время как генерирование музыки предполагает создание новых композиций на основе этих изученных закономерностей.

__wf_reserved_inherit
Рис. 2. Сравнение понимания музыки с помощью ИИ и генерации музыки с помощью ИИ.

Процесс создания музыки с помощью ИИ начинается со сбора большого массива музыкальных данных, включающего различные жанры и стили. Затем этот набор данных разбивается на более мелкие компоненты, такие как ноты, аккорды и ритмы, которые преобразуются в числовые данные, которые может обработать ИИ.

Существует множество различных генеративных моделей ИИ, которые можно обучить генерировать музыку. Например, такие модели ИИ, как трансформеры и вариативные автоэнкодеры (VAE), могут работать вместе для создания музыки. VAE могут сжимать входные звуки в латентное пространство, группируя похожие музыкальные фрагменты вплотную друг к другу, чтобы передать разнообразие и богатство музыки. Затем трансформеры используют это латентное пространство для создания новой музыки, понимая закономерности и фокусируясь на важных нотах в последовательности.

После того как модель ИИ обучена на этих данных, он может генерировать новую музыку, предсказывая следующую ноту или аккорд на основе полученных знаний. Он может создавать целые композиции, нанизывая эти предсказания друг на друга. Созданная музыка может быть точно настроена в соответствии с определенными стилями или предпочтениями.

Мы начинаем видеть все больше музыкальных генераторов, использующих эту технологию. Вот несколько примеров:

  • MusicLM от Google: Генерирует музыку на основе текстовых подсказок, позволяя пользователям указывать жанр, настроение, инструменты и общее настроение.
  • MusicGen от Meta: Создает музыку из текстовых описаний или существующих мелодий, используя инструмент EnCodec для обработки аудиоданных.
  • Stable Audio 2.0 от Stability AI: Создает высококачественные аудиодорожки и звуковые эффекты из текстовых и аудиоданных, способен создавать полноценные треки и преобразовывать аудиосэмплы на основе подсказок.

Влияние искусственного интеллекта на музыкальную индустрию

Инновации в области искусственного интеллекта создают новые возможности и проблемы для музыкантов, слушателей и продюсеров, приводя к ситуациям, с которыми они, возможно, не сталкивались раньше. Интересно наблюдать, как каждая группа приспосабливается к этим достижениям, использует новые инструменты и преодолевает проблемы, связанные с оригинальностью и этикой. Помимо создания музыки, у ИИ есть и другие интересные возможности в музыкальной индустрии, такие как улучшение живых выступлений, совершенствование музыкальных открытий и помощь в производственных процессах. Давайте подробнее рассмотрим, как ИИ влияет на музыкантов, слушателей и продюсеров в музыкальной индустрии.

__wf_reserved_inherit
Рис. 3. Влияние генеративного ИИ на музыкальную индустрию.

Влияние на музыкантов

ИИ меняет подход к созданию музыки. Инструменты, интегрированные с генеративным искусственным интеллектом, помогают генерировать новые мелодии, аккордовые прогрессии и тексты, облегчая музыкантам преодоление творческих блоков. ИИ также использовался для завершения незаконченных произведений, например, новой песни The Beatles"Now And Then", созданной с использованием вокала Джона Леннона из старой демозаписи. Однако появление музыки, созданной искусственным интеллектом и подражающей стилю известных исполнителей, вызывает опасения по поводу оригинальности. Например, такие исполнители, как Bad Bunny, обеспокоены тем, что ИИ копирует их голоса и стили без согласия.

Помимо создания музыки, искусственный интеллект и компьютерное зрение могут помочь музыкантам создавать более качественные выступления и музыкальные видеоклипы. Музыкальное видео состоит из множества различных элементов, и одним из них являются танцы. Модели оценки позы, такие как Ultralytics YOLOv8, позволяют понять позы человека на изображениях и видео и играют важную роль в создании хореографических танцевальных последовательностей, синхронизированных с музыкой.

Еще один хороший пример использования ИИ в хореографии - проект NVIDIA"Dance to Music". В этом проекте они использовали ИИ и двухэтапный процесс для создания новых танцевальных движений, разнообразных, соответствующих стилю и ритму. Сначала для изучения различных танцевальных движений в такт ритму на основе большой коллекции танцевальных видеороликов были использованы оценка позы и кинематический детектор ритма. Затем была использована генеративная модель ИИ для организации этих танцевальных движений в хореографию, соответствующую ритму и стилю музыки. Хореографические танцевальные движения, созданные ИИ, добавляют интересный визуальный элемент в музыкальные видео и помогают артистам быть более креативными.

Влияние на слушателей

Для слушателей ИИ может улучшить процесс поиска и прослушивания музыки. Такие платформы, как Spotify и Apple Music, используют ИИ для составления персонализированных плейлистов и рекомендаций новой музыки на основе слушательских привычек пользователей. Когда вы открываете для себя новых исполнителей и жанры на этих платформах, это и есть магия ИИ. 

Виртуальная реальность (VR) с поддержкой искусственного интеллекта также улучшает качество концертных выступлений. Например, Трэвис Скотт использует VR для создания виртуальных выступлений, которые охватывают глобальную аудиторию. Однако обилие музыки, созданной искусственным интеллектом, на таких платформах, как TikTok, может сделать поиск музыки чрезмерно сложным. Это может затруднить выделение новых исполнителей.

__wf_reserved_inherit
Рис. 4. ИИ делает возможными концерты в виртуальной реальности (VR).

Воздействие на производителей

Продюсеры выигрывают от использования ИИ по нескольким направлениям. Инструменты ИИ, помогающие в коррекции высоты тона, микшировании и мастеринге, упрощают процесс производства. Виртуальные инструменты и синтезаторы на базе ИИ, такие как Watson Beat от IBM, могут создавать новые звуки и текстуры, расширяя творческие возможности. 

ИИ на платформах потокового вещания - это не только преимущество для слушателей; он также помогает продюсерам, создавая более широкую аудиторию. Однако, как и в случае с музыкантами, способность ИИ подражать стилю известных исполнителей поднимает этические и юридические вопросы, связанные с эксплуатацией уникальных голосов и стилей артистов. Это привело к судебным спорам, например, к искам крупных музыкальных компаний, таких как Universal, Sony и Warner, против ИИ-стартапов, таких как Suno и Udio, за якобы использование защищенных авторским правом произведений для обучения своих моделей без разрешения.

Управление музыкальными библиотеками с помощью инструментов, интегрированных в искусственный интеллект, таких как MusicBrainz Picard

Мы вкратце рассмотрели некоторые области применения ИИ в музыке, поняв его влияние на различные заинтересованные стороны музыкальной индустрии. Теперь давайте разберемся в более конкретном применении ИИ в музыке: Инструменты управления музыкой с поддержкой ИИ, такие как MusicBrainz Picard. Эти инструменты невероятно полезны для организации и управления цифровыми музыкальными библиотеками. 

__wf_reserved_inherit
Рис. 5. Музыкальными библиотеками можно управлять с помощью искусственного интеллекта.

Они автоматически идентифицируют и маркируют музыкальные файлы с помощью точных метаданных, таких как имена исполнителей, названия альбомов и номера треков. MusicBrainz Picard облегчает упорядочивание музыкальных коллекций. Одна из ключевых технологий, интегрированных в MusicBrainz Picard, - аудиоотпечатки AcoustID. Эти отпечатки идентифицируют музыкальные файлы на основе их фактического аудиосодержимого, даже если в файлах отсутствуют метаданные.

Почему это так важно? Такиекрупные организации, как BBC, Google, Amazon, Spotify и Pandora, используют данные MusicBrainz для улучшения своих музыкальных сервисов. Метаданные, созданные такими инструментами, как MusicBrainz Picard, крайне важны для разработчиков, создающих музыкальные базы данных, приложения для тегирования и другое программное обеспечение, связанное с музыкой. Основой ИИ являются данные, и без таких инструментов, как Picard, было бы очень сложно получить чистые и точные данные, необходимые для анализа и разработки приложений. Удивительно, что инструменты с поддержкой ИИ используют ИИ и помогают создавать данные, необходимые для приложений ИИ, формируя полезный цикл совершенствования и инноваций.

Последние заметки об искусственном интеллекте в музыке

Мы уже обсуждали волны, которые создает искусственный интеллект в музыке. Правовой ландшафт, связанный с музыкой, созданной ИИ, также развивается. Согласно действующим нормативным актам, например, принятым Бюро по авторским правам США, произведения, полностью созданные искусственным интеллектом, не могут быть защищены авторским правом, поскольку в них отсутствует авторство человека. Однако если человек вносит значительный вклад в творческий процесс, произведение может претендовать на защиту авторских прав. По мере того как ИИ будет продолжать внедряться в музыкальную индустрию, постоянные юридические и этические дискуссии будут жизненно важны для решения этих проблем. Заглядывая в будущее, можно сказать, что ИИ обладает огромным потенциалом в музыке, сочетая технологии с творческими способностями человека, расширяя возможности создания и производства музыки.

Изучите искусственный интеллект, посетив наш репозиторий GitHub и присоединившись к нашему активному сообществу. Узнайте о применении ИИ в производстве и сельском хозяйстве на страницах наших решений.

Давайте вместе построим будущее
искусственного интеллекта!

Начните свое путешествие в будущее машинного обучения

Начните бесплатно
Ссылка копируется в буфер обмена