음악 분야의 AI: MusicBrainz Picard와 같은 활용 사례 및 도구

인공지능(AI)은 기계에서 인간의 지능을 재현하는 데 중점을 둡니다. 인간을 인간답게 만드는 중요한 요소 중 하나는 예술, 특히 음악과의 연결입니다. 음악은 우리의 문화와 감정에 깊은 영향을 미칩니다. AI의 발전 덕분에 이제 기계는 사람이 작곡한 것처럼 들리는 음악을 만들 수 있습니다. AI 음악은 사람과 AI가 혁신적으로 협업할 새로운 가능성을 열고, 음악을 경험하고 상호작용하는 방식을 변화시킵니다.

이 글에서는 AI를 음악 제작에 활용하는 방법을 살펴보겠습니다. 또한 MusicBrainz Picard와 같은 음악 태깅 도구와 AI의 연관성, 그리고 이러한 도구가 아티스트, 프로듀서, 엔터테인먼트 산업 전반에 미치는 영향에 대해서도 다루겠습니다.

사운드 AI와 그 중요성#

AI는 사운드를 포함한 다양한 유형의 데이터를 처리할 수 있습니다. 오디오 데이터라고도 하는 사운드 데이터는 시간의 흐름에 따라 강도가 달라지는 여러 파동 주파수의 조합입니다. 이미지나 시계열 데이터와 마찬가지로 오디오 데이터도 AI 시스템이 처리하고 분석할 수 있는 형식으로 변환할 수 있습니다. 음파를 AI 모델이 분석할 수 있는 숫자 데이터로 변환할 수 있습니다.

또 다른 흥미로운 방법은 음파를 스펙트로그램으로 변환하는 푸리에 변환을 사용하는 것입니다. 스펙트로그램은 다양한 사운드 주파수가 시간에 따라 어떻게 달라지는지 보여주는 시각적 표현입니다. AI 모델은 스펙트로그램을 이미지처럼 취급하여 이미지 인식 기술을 적용하고 오디오 데이터를 분석하고 해석할 수 있습니다. AI는 시각 데이터에서와 마찬가지로 사운드의 패턴과 특징을 식별할 수 있습니다.

그림 1. AI가 사운드를 분류하는 예시.

AI를 사용해 오디오 데이터를 분석, 조작, 생성하면 다양한 활용 사례가 만들어집니다. 몇 가지 예를 살펴보겠습니다.

• 음악 생성 및 작곡: 기존 곡을 학습해 새로운 음악을 만들고, 멜로디, 화음, 리듬 작업으로 음악가를 지원합니다.
• 오디오 향상 및 노이즈 감소: 콜센터, 보청기, 오디오 편집을 위해 배경 소음을 줄여 오디오 품질을 개선합니다.
• 팟캐스트 요약: 콘텐츠를 더 쉽게 소비할 수 있도록 팟캐스트 에피소드를 간결하게 요약합니다.
• 음성에서 감정 탐지: 고객 서비스, 정신 건강 모니터링, 사용자 경험 연구를 위해 음성에 담긴 감정을 탐지합니다.

AI 노래 생성기의 작동 원리 이해하기#

AI 노래 생성기는 이미지 생성과 비슷하게 기존 음악을 분석하고 학습하여 작동합니다. AI로 음악을 이해하는 것과 AI로 음악을 생성하는 것의 차이를 이해하는 것이 중요합니다. 음악 이해에는 패턴을 분석하고 식별하는 과정이 포함되며, 음악 생성에는 학습한 패턴을 바탕으로 새로운 곡을 만드는 과정이 포함됩니다.

그림 2. AI를 활용한 음악 이해와 AI 음악 생성 비교.

AI 음악 생성 과정은 다양한 장르와 스타일을 포함하는 대규모 음악 데이터 세트를 수집하는 것부터 시작합니다. 그런 다음 데이터 세트를 음표, 화음, 리듬 등의 작은 요소로 나누고, AI가 처리할 수 있도록 숫자 데이터로 변환합니다.

음악을 생성하도록 학습할 수 있는 다양한 생성형 AI 모델이 있습니다. 예를 들어 Transformer와 변분 오토인코더(VAEs) 같은 AI 모델은 함께 작동해 음악을 생성할 수 있습니다. VAEs는 유사한 음악 조각을 가까이 배치해 음악의 다양성과 풍부함을 포착함으로써 입력 사운드를 잠재 공간으로 압축할 수 있습니다. 그런 다음 Transformer는 이 잠재 공간을 활용해 패턴을 이해하고 시퀀스에서 중요한 음표에 집중하여 새로운 음악을 생성합니다.

AI 모델이 이 데이터를 학습하면, 학습한 내용을 바탕으로 다음 음표나 화음을 예측해 새로운 음악을 생성할 수 있습니다. 예측을 이어 붙여 곡 전체를 만들 수도 있습니다. 생성된 음악을 특정 스타일이나 선호도에 맞게 미세 조정할 수 있습니다.

이 기술을 사용하는 음악 생성기가 점점 더 많이 등장하고 있습니다. 몇 가지 예를 살펴보겠습니다.

• Google의 MusicLM: 텍스트 프롬프트를 바탕으로 음악을 생성하며, 사용자가 장르, 분위기, 악기, 전반적인 느낌을 지정할 수 있습니다.
• Meta의 MusicGen: EnCodec이라는 도구로 오디오 데이터를 처리하여 텍스트 설명이나 기존 멜로디를 바탕으로 음악을 만듭니다.
• Stability AI의 Stable Audio 2.0: 텍스트와 오디오 입력을 바탕으로 고품질 오디오 트랙과 음향 효과를 생성하며, 프롬프트에 따라 전체 트랙을 만들고 오디오 샘플을 변환할 수 있습니다.

AI가 음악 산업에 미치는 영향#

AI 혁신은 음악가, 청취자, 프로듀서에게 새로운 기회와 과제를 만들어내며, 이전에 경험하지 못한 상황으로 이어지고 있습니다. 각 그룹이 이러한 발전에 어떻게 적응하고 새로운 도구를 활용하며 독창성과 윤리에 관한 우려를 다루는지 살펴보는 것은 흥미롭습니다. AI는 음악 생성뿐 아니라 라이브 공연 향상, 음악 검색 개선, 제작 과정 지원 등 음악 산업에서 또 다른 흥미로운 잠재력을 지니고 있습니다. AI가 음악 산업의 음악가, 청취자, 프로듀서에게 어떤 영향을 미치는지 자세히 살펴보겠습니다.

그림 3. 생성형 AI가 음악 산업에 미치는 영향.

음악가에게 미치는 영향#

AI는 음악가들이 음악을 만드는 방식을 바꾸고 있습니다. 생성형 AI가 통합된 도구는 새로운 멜로디, 코드 진행, 가사를 생성하여 음악가들이 창작의 정체기를 극복하도록 도울 수 있습니다. AI는 오래된 데모에서 추출한 John Lennon의 보컬을 사용해 만든 The Beatles의 신곡 "Now And Then"처럼 미완성 작품을 완성하는 데도 활용되었습니다. 그러나 기존 아티스트의 스타일을 모방하는 AI 생성 음악이 늘어나면서 독창성에 대한 우려가 커지고 있습니다. 예를 들어 Bad Bunny와 같은 아티스트는 동의 없이 AI가 자신의 목소리와 스타일을 모방할 가능성을 우려하고 있습니다.

음악을 만드는 것 외에도 AI와 컴퓨터 비전은 음악가들이 더 나은 공연과 뮤직비디오를 제작하도록 도울 수 있습니다. 뮤직비디오는 여러 요소로 구성되며, 그중 하나가 춤입니다. 포즈 추정 모델인 Ultralytics YOLOv8은 이미지와 동영상에서 사람의 자세를 파악하여 음악에 맞춰 동기화되는 안무 시퀀스를 만드는 데 활용될 수 있습니다.

안무에 AI를 활용하는 또 다른 좋은 사례는 NVIDIA의 "Dance to Music" 프로젝트입니다. 이 프로젝트에서는 다양하고 스타일 일관성이 있으며 비트에 맞는 새로운 춤 동작을 생성하기 위해 AI와 2단계 프로세스를 사용했습니다. 먼저 포즈 추정과 운동학적 비트 감지기를 사용하여 대규모 댄스 동영상 모음에서 비트에 맞는 다양한 춤 동작을 학습했습니다. 그런 다음 생성형 AI 모델을 사용해 이러한 춤 동작을 음악의 리듬과 스타일에 맞는 안무로 구성했습니다. AI로 안무를 만든 춤 동작은 뮤직비디오에 흥미로운 시각적 요소를 더하고 아티스트가 더욱 창의적으로 작업하도록 돕습니다.

청취자에게 미치는 영향#

청취자에게 AI는 음악 검색과 감상 경험을 개선할 수 있습니다. Spotify와 Apple Music 같은 플랫폼은 AI를 사용해 개인화된 플레이리스트를 구성하고 사용자의 청취 습관을 바탕으로 새로운 음악을 추천합니다. 이러한 플랫폼에서 새로운 아티스트와 장르를 발견할 때 AI가 작동하는 경우가 많습니다.

AI 기반 가상 현실(VR)은 라이브 콘서트 경험도 개선하고 있습니다. 예를 들어 Travis Scott은 VR을 사용해 전 세계 관객에게 다가가는 가상 공연을 선보입니다. 하지만 TikTok과 같은 플랫폼에 AI 생성 음악이 넘쳐나면 음악 검색이 부담스러워질 수 있습니다. 신인 아티스트가 두각을 나타내기 어려워질 수도 있습니다.

그림 4. AI로 가상 현실(VR) 콘서트 경험을 구현할 수 있습니다.

프로듀서에게 미치는 영향#

프로듀서는 여러 측면에서 AI의 이점을 얻습니다. 피치 보정, 믹싱, 마스터링을 지원하는 AI 도구는 제작 과정을 간소화합니다. IBM의 Watson Beat와 같은 AI 기반 가상 악기와 신시사이저는 새로운 사운드와 질감을 만들어 창작의 가능성을 넓힐 수 있습니다.

스트리밍 플랫폼의 AI는 청취자에게만 이점을 제공하는 것이 아니라 더 많은 청중에게 도달하도록 도와 프로듀서에게도 도움이 됩니다. 그러나 음악가들이 우려하는 것처럼 기존 아티스트의 스타일을 모방하는 AI의 능력은 아티스트의 고유한 목소리와 스타일을 이용하는 문제와 관련해 윤리적·법적 쟁점을 일으킵니다. 이로 인해 Universal, Sony, Warner와 같은 주요 음악 회사가 Suno, Udio와 같은 AI 스타트업을 상대로 허가 없이 저작권이 있는 작품을 모델 학습에 사용했다는 이유로 제기한 소송 등 법적 분쟁이 발생했습니다.

MusicBrainz Picard와 같은 AI 통합 도구로 음악 라이브러리 관리하기#

음악 산업의 여러 이해관계자에게 미치는 영향을 살펴보며 음악 분야에서 AI가 활용되는 몇 가지 사례를 간략히 알아보았습니다. 이제 MusicBrainz Picard와 같은 AI 기반 음악 관리 도구라는, 음악 분야의 좀 더 구체적인 AI 활용 사례를 살펴보겠습니다. 이러한 도구는 디지털 음악 라이브러리를 정리하고 관리하는 데 유용합니다.

그림 5. AI를 사용해 음악 라이브러리를 관리할 수 있습니다.

이 도구는 아티스트 이름, 앨범 제목, 트랙 번호와 같은 정확한 메타데이터를 사용해 음악 파일을 자동으로 식별하고 태그를 지정합니다. MusicBrainz Picard를 사용하면 음악 컬렉션을 더 쉽게 체계적으로 정리할 수 있습니다. MusicBrainz Picard에 통합된 핵심 기술 중 하나는 AcoustID 오디오 지문입니다. 이 지문은 파일에 메타데이터가 없어도 실제 오디오 콘텐츠를 바탕으로 음악 파일을 식별합니다.

이것이 왜 중요할까요? BBC, Google, Amazon, Spotify, Pandora와 같은 주요 조직은 음악 관련 서비스를 개선하기 위해 MusicBrainz 데이터를 활용합니다. MusicBrainz Picard와 같은 도구가 생성하는 메타데이터는 음악 데이터베이스, 태그 편집 애플리케이션 및 기타 음악 관련 소프트웨어를 개발하는 데 매우 중요합니다. AI의 기반은 데이터이며, Picard와 같은 도구가 없다면 분석 및 애플리케이션 개발에 필요한 정제되고 정확한 데이터를 확보하기가 매우 어렵습니다. 이러한 AI 기반 도구는 AI 애플리케이션에 필요한 데이터 생성에도 도움이 되어 개선과 혁신이 이어지는 선순환을 이룹니다.

음악 분야 AI에 대한 마무리#

AI는 이미 음악을 변화시키고 있으며, AI 생성 음악을 둘러싼 법적 환경도 함께 변화하고 있습니다. 미국 저작권청과 같은 기관의 현행 규정에 따르면, 인간의 저작이 없으므로 AI가 전적으로 생성한 작품은 저작권 보호를 받을 수 없습니다. 그러나 인간이 창작 과정에 크게 기여했다면 해당 작품은 저작권 보호 대상이 될 수 있습니다. AI가 음악 산업에 계속 통합됨에 따라 이러한 과제를 해결하기 위한 법적·윤리적 논의가 지속되는 것이 중요합니다. 앞으로 AI는 기술과 인간의 창의성을 결합해 음악 창작과 제작의 가능성을 확장할 큰 잠재력을 지니고 있습니다.

GitHub 저장소를 방문하고 커뮤니티에 참여해 AI를 알아보세요. 솔루션 페이지에서 제조 및 농업 분야의 AI 활용 사례를 확인할 수 있습니다.