2024년, 생성형 AI의 물결과 함께 시작하다

AI 커뮤니티 관련 소식은 거의 매일 헤드라인을 장식하는 듯합니다. 2024년 첫 몇 달은 흥미롭고 새로운 AI 혁신으로 가득했습니다. 강력한 대규모 언어 모델부터 인간의 뇌 임플란트까지, 2024년은 AI 분야에 큰 한 해가 될 전망입니다.

AI가 산업을 변화시키고 정보를 더 쉽게 이용할 수 있도록 하며, 우리의 정신과 기계를 연결하는 첫걸음까지 내딛는 모습을 확인하고 있습니다. 2024년 1분기를 되돌아보고 불과 몇 달 동안 AI 분야에서 이룬 진전을 자세히 살펴보겠습니다.

주목받는 대규모 언어 모델#

방대한 텍스트 데이터를 바탕으로 인간의 언어를 이해하고 생성하며 조작하도록 설계된 대규모 언어 모델(LLM)이 2024년 1분기의 중심에 섰습니다. 여러 주요 기술 기업이 각기 고유한 기능을 갖춘 자체 LLM을 출시했습니다. GPT-3와 같은 초기 LLM의 성공이 이러한 흐름에 영향을 주었습니다. 2024년 초에 출시된 주목할 만한 LLM을 살펴보겠습니다.

Anthropic의 Claude 3#

Anthropic은 2024년 3월 4일 Claude 3를 출시했습니다. Claude 3 모델은 Opus, Sonnet, Haiku의 세 가지 버전으로 제공되며, 각 버전은 서로 다른 시장과 목적에 맞춰 설계되었습니다. 가장 빠른 모델인 Haiku는 빠르고 기본적인 응답에 최적화되어 있습니다. Sonnet은 속도와 지능의 균형을 맞추며 엔터프라이즈 애플리케이션을 대상으로 합니다. 가장 성능이 뛰어난 버전인 Opus는 복잡한 추론 작업을 위해 설계되었으며 출시 당시 여러 벤치마크에서 선두를 차지했습니다.

Claude 3 모델 카드에서 살펴본 것처럼 Claude 3에는 다음과 같은 여러 기능과 개선 사항이 포함되어 있습니다.

• 다국어 대화 기능 향상: 스페인어, 일본어, 프랑스어를 비롯한 여러 언어의 처리 능력이 개선되었습니다.
• 고급 비전 기능: 다양한 시각 형식을 처리할 수 있습니다.
• 거부 최소화: 불필요한 거부를 줄이면서 더 높은 이해도를 보여 맥락 파악 능력이 향상되었음을 나타냅니다.
• 확장된 컨텍스트 윈도우: 200K 컨텍스트 윈도우를 제공하며, 고객의 요구에 따라 100만 개가 넘는 토큰의 입력도 처리할 수 있습니다.

그림 1. Claude 3은 이전 버전보다 맥락을 더 잘 파악합니다.

Databricks의 DBRX#

Databricks DBRX는 Databricks가 2024년 3월 27일에 출시한 오픈 범용 LLM입니다. DBRX는 언어 이해, 프로그래밍, 수학을 포함한 다양한 벤치마크에서 우수한 성능을 보입니다. 비슷한 모델보다 약 40% 작으면서 기존의 다른 모델을 능가합니다.

그림 2. DBRX와 다른 모델 비교.

DBRX는 세분화된 전문가 혼합(MoE) 아키텍처를 활용한 다음 토큰 예측 방식으로 학습되었으며, 이 아키텍처는 학습과 추론의 효율성을 크게 높입니다. 모델은 다양한 전문 하위 모델(“전문가”)을 참조해 시퀀스의 다음 단어를 더 정확하게 예측할 수 있습니다. 이러한 하위 모델은 서로 다른 유형의 정보나 작업을 처리하는 데 강점이 있습니다.

Google의 Gemini 1.5#

Google은 2024년 2월 15일, 방대한 텍스트, 동영상, 오디오 데이터를 분석할 수 있는 컴퓨팅 효율적인 멀티모달 AI 모델 Gemini 1.5를 공개했습니다. 최신 모델은 성능, 효율성, 기능 면에서 더 발전했습니다. Gemini 1.5의 핵심 기능은 장문 맥락 이해에서 이룬 획기적인 발전입니다. 이 모델은 최대 100만 개의 토큰을 일관되게 처리할 수 있습니다. Gemini 1.5의 기능은 새로운 MoE 기반 아키텍처 덕분이기도 합니다.

그림 3. 인기 LLM의 컨텍스트 길이 비교

Gemini 1.5의 가장 흥미로운 기능 몇 가지를 살펴보겠습니다.

• 데이터 처리 개선: 대용량 PDF, 코드 저장소 또는 긴 동영상을 프롬프트로 직접 업로드할 수 있습니다. 모델은 여러 모달리티에 걸쳐 추론하고 텍스트를 출력할 수 있습니다.
• 여러 파일 업로드 및 질의: 이제 개발자는 여러 파일을 업로드하고 질문할 수 있습니다.
• 다양한 작업에 활용 가능: 다양한 작업에 맞게 확장되도록 최적화되었으며, 수학, 과학, 추론, 다국어 처리, 동영상 이해, 코드 등의 영역에서 개선된 성능을 보입니다.

AI가 만드는 놀라운 비주얼#

2024년 1분기에는 소셜 미디어와 AI의 발전에 대한 논쟁을 불러일으킬 만큼 사실적인 시각 자료를 생성할 수 있는 생성형 AI 모델이 등장했습니다. 이러한 논의를 이끄는 모델을 살펴보겠습니다.

OpenAI의 Sora#

ChatGPT를 만든 OpenAI는 2024년 2월 15일, Sora라는 최첨단 텍스트-비디오 딥러닝 모델을 발표했습니다. Sora는 사용자의 텍스트 프롬프트를 바탕으로 높은 시각적 품질의 1분 길이 동영상을 생성할 수 있는 텍스트-비디오 생성 모델입니다.

예를 들어, 다음 프롬프트를 살펴보세요.

“형형색색의 물고기와 해양 생물로 가득한 산호초를 아름답게 표현한 종이 공예 세계.”

그리고 다음은 생성된 동영상의 한 프레임입니다.

그림 4. Sora가 생성한 동영상의 한 프레임입니다.

Sora의 아키텍처는 텍스처 생성에 확산 모델을, 구조적 일관성 확보에 Transformer 모델을 결합해 이를 가능하게 합니다. 지금까지 Sora는 위험성을 파악하고 피드백을 받기 위해 레드팀 담당자와 일부 시각 예술가, 디자이너, 영화 제작자에게만 제공되었습니다.

Stability AI의 Stable Diffusion 3#

Stability AI는 2024년 2월 22일 텍스트-이미지 생성 모델인 Stable Diffusion 3의 출시를 발표했습니다. 이 모델은 diffusion Transformer 아키텍처와 flow matching을 결합합니다. 아직 기술 논문은 공개되지 않았지만 주목할 만한 주요 기능이 몇 가지 있습니다.

그림 5. 다음 프롬프트를 바탕으로 생성한 출력 이미지: “밤에 산꼭대기에 선 마법사가 어두운 하늘에 다채로운 에너지로 "Stable Diffusion 3"라고 쓰인 우주 마법을 시전하는 장대한 애니메이션 작품” (출처)

Stable Diffusion의 최신 모델은 여러 피사체가 있는 이미지 생성에서 성능, 이미지 품질, 정확도가 향상되었습니다. Stable Diffusion 3은 8억 개에서 80억 개의 파라미터를 가진 다양한 모델도 제공할 예정입니다. 사용자는 확장성과 세부 묘사에 대한 요구에 따라 모델을 선택할 수 있습니다.

Google의 Lumiere#

2024년 1월 23일 Google 연구진은 텍스트-비디오 확산 모델인 Lumiere를 소개했습니다. Lumiere는 Space-Time-U-Net이라는 아키텍처를 사용하며, 이를 줄여 STUNet이라고 합니다. 이 아키텍처는 Lumiere가 동영상 속 사물의 위치와 움직임을 이해하도록 돕습니다. 이를 통해 부드럽고 생생한 동영상을 생성할 수 있습니다.

그림 6. 다음 프롬프트를 바탕으로 생성한 동영상의 한 프레임: “집에서 우쿨렐레를 연주하는 판다.”

동영상당 80개 프레임을 생성할 수 있는 Lumiere는 AI 동영상 품질을 한 단계 끌어올린 주목할 만한 발전입니다. Lumiere의 주요 기능을 살펴보겠습니다.

• 이미지-비디오 변환: 이미지와 프롬프트를 입력하면 Lumiere가 이미지에 움직임을 더해 동영상으로 만들 수 있습니다.
• 스타일 지정 생성: Lumiere는 하나의 참조 이미지를 사용해 특정 스타일의 동영상을 생성할 수 있습니다.
• 시네마그래프: Lumiere는 이미지 내 특정 영역에 움직임을 더해, 특정 물체는 움직이고 나머지 장면은 정지해 있는 것과 같은 역동적인 장면을 만들 수 있습니다.
• 동영상 인페인팅: 동영상 속 인물의 의상을 바꾸거나 배경의 세부 요소를 수정하는 등 동영상의 일부를 변경할 수 있습니다.

미래가 눈앞에 다가왔습니다#

2024년 초에는 공상과학 영화에서나 볼 법한 AI 혁신도 많이 등장했습니다. 이전에는 불가능하다고 여겼던 일들이 이제 개발되고 있습니다. 다음과 같은 발견들을 보면 미래가 그리 멀게 느껴지지 않습니다.

Elon Musk의 Neuralink#

Elon Musk의 Neuralink는 2024년 1월 29일 사람의 뇌에 무선 뇌 칩을 성공적으로 이식했습니다. 이는 인간의 뇌를 컴퓨터와 연결하는 데 있어 중요한 진전입니다. Elon Musk는 Neuralink의 첫 제품인 ‘Telepathy’가 출시 준비 단계에 있다고 밝혔습니다.

그림 7. Neuralink 임플란트

이 기술의 목표는 특히 사지 기능을 잃은 사용자가 생각만으로 기기를 손쉽게 제어할 수 있도록 하는 것입니다. 잠재적인 활용 분야는 편의성에 그치지 않습니다. Elon Musk는 마비가 있는 사람들이 쉽게 소통할 수 있는 미래를 그리고 있습니다.

Disney의 HoloTile Floor#

2024년 1월 18일 Walt Disney Imagineering은 HoloTile Floor를 공개했습니다. 이 제품은 세계 최초의 다인용 전방향 트레드밀 바닥으로 불립니다.

그림 8. Disney Imagineer Lanny Smoot가 자신의 최신 혁신 기술인 HoloTile 바닥 위에서 포즈를 취하고 있습니다.

이 장치는 염력처럼 사람이나 물체 아래에서 움직여 몰입형 가상 현실 및 증강 현실 경험을 제공합니다. 그 위에서 어느 방향으로든 걸으며 충돌을 피할 수 있습니다. Disney의 HoloTile Floor는 극장 무대에 설치해 창의적인 방식으로 춤추고 움직이는 데 사용할 수도 있습니다.

Apple의 Vision Pro#

2024년 2월 2일, 많은 기대를 모은 Apple의 Vision Pro 헤드셋이 출시되었습니다. 이 제품은 가상 현실 및 증강 현실 경험을 새롭게 정의하도록 설계된 다양한 기능과 애플리케이션을 갖추고 있습니다. Vision Pro 헤드셋은 엔터테인먼트, 생산성, 공간 컴퓨팅을 결합해 다양한 사용자를 대상으로 합니다. Apple은 생산성 도구부터 게임 및 엔터테인먼트 서비스까지 600개가 넘는 앱이 Vision Pro 출시 시점에 최적화되었다고 발표했습니다.

Cognition의 Devin#

2024년 3월 12일 Cognition은 Devin이라는 소프트웨어 엔지니어링 어시스턴트를 출시했습니다. Devin은 세계 최초의 자율 AI 소프트웨어 엔지니어 시도 사례입니다. 제안이나 특정 작업의 완료를 지원하는 기존 코딩 어시스턴트와 달리 Devin은 초기 구상부터 완료까지 소프트웨어 개발 프로젝트 전체를 처리하도록 설계되었습니다.

새로운 기술을 학습하고, 전체 앱을 구축 및 배포하며, 버그를 찾아 수정하고, 자체 모델을 학습시키고, 오픈 소스 및 프로덕션 코드베이스에 기여할 수 있습니다. Upwork와 같은 사이트에서 실제 개발 업무를 맡을 수도 있습니다.

그림 9. Devin과 다른 모델 비교

Devin은 Django와 scikit-learn 같은 오픈 소스 프로젝트에서 발견된 실제 GitHub 이슈를 에이전트가 해결하도록 하는 까다로운 벤치마크인 SWE-bench에서 평가되었습니다. Devin은 이전 최고 성능인 1.96%와 비교해 이슈의 13.86%를 처음부터 끝까지 올바르게 해결했습니다.

그 밖의 주목할 만한 소식#

이루어진 일이 너무 많아 이 글에서 모두 다루기는 어렵지만, 추가로 언급할 만한 몇 가지 내용을 소개합니다.

• 2024년 3월 21일 발표된 NVIDIA의 LATTE3D는 텍스트 프롬프트에서 3D 표현을 즉시 생성하는 텍스트-3D AI 모델입니다.
• CEO David Holz가 예고한 Midjourney의 새로운 텍스트-비디오 생성 모델은 1월에 학습을 시작했으며, 곧 출시될 예정입니다.
• Lenovo는 AI PC 혁신을 가속화하기 위해 E Ink Prism 기술을 적용한 ThinkBook 13x와 고성능 AI 노트북을 2024년 1월 8일 출시했습니다.

AI 트렌드 소식을 계속 확인해 보세요!#

2024년 초에는 AI 분야에서 큰 발전이 있었고 여러 기술적 이정표가 세워졌습니다. 하지만 이는 AI가 할 수 있는 일의 시작에 불과합니다. 최신 AI 동향을 더 알고 싶다면 Ultralytics가 도움을 드리겠습니다.

GitHub 저장소에서 컴퓨터 비전 및 AI 분야의 최신 기여 내용을 확인해 보세요. 또한 제조 및 헬스케어와 같은 산업에서 AI가 어떻게 활용되는지 솔루션 페이지에서 확인할 수 있습니다.