데이터 레이크의 정의, 기능, 이점, AI/ML에서의 역할에 대해 알아보세요. 데이터 레이크가 빅 데이터 관리 및 분석을 어떻게 혁신하는지 알아보세요.
데이터 레이크는 수집 시 미리 정의된 구조나 스키마를 적용하지 않고 방대한 양의 원시 데이터를 기본 형식으로 저장하도록 설계된 중앙 집중식 리포지토리입니다. 데이터를 저장하기 전에 정형화해야 하는 기존 데이터베이스나 데이터 웨어하우스와 달리, Data Lake는 정형(관계형 데이터베이스의 테이블 등), 반정형( JSON 또는 XML 파일 등), 비정형 데이터(이미지, 동영상, 오디오, 텍스트 문서, 센서 로그 등)를 나란히 보관할 수 있습니다. 이러한 유연성은 특히 다양한 데이터 세트가 자주 요구되는 인공 지능(AI) 및 머신 러닝(ML) 분야에서 최신 데이터 분석에 매우 중요한 자산이 됩니다.
데이터 레이크의 기본 개념은 빅데이터를 위한 비용 효율적이고 확장성이 뛰어난 스토리지 솔루션을 제공하는 것입니다. 주요 특징은 다음과 같습니다:
데이터 레이크와 데이터 웨어하우스는 모두 대량의 데이터를 저장하는 데 사용되지만, 서로 다른 용도로 사용되며 데이터를 처리하는 방식도 다릅니다.
데이터 레이크는 특히 딥 러닝(DL)에서 많은 AI 및 ML 워크플로우의 기본입니다. 정교한 모델을 훈련하려면 방대한 양의 다양한 원시 데이터를 저장할 수 있는 기능이 필수적입니다. 데이터 과학자는 탐색적 분석, 데이터 정리, 기능 엔지니어링, 고품질 학습 데이터 생성 등의 작업을 위해 이 원시 데이터에 액세스할 수 있습니다. 예를 들어, Ultralytics HUB와 같은 플랫폼은 데이터 레이크 내에서 큐레이션 및 관리되거나 데이터 레이크에서 제공되는 데이터 세트를 활용하여 다음과 같은 사용자 지정 모델을 학습할 수 있습니다. Ultralytics YOLO 와 같은 맞춤형 모델을 훈련하여 객체 감지, 이미지 세분화 또는 이미지 분류와 같은 작업을 수행할 수 있습니다. 이 프로세스에는 데이터가 레이크에 도달하기도 전에 광범위한 데이터 수집 및 주석이 포함되는 경우가 많습니다.
데이터 레이크는 필요한 데이터의 양과 다양성을 제공함으로써 강력한 AI/ML 애플리케이션을 가능하게 합니다. 다음은 두 가지 예입니다:
혜택:
도전 과제:
데이터 레이크는 최신 AI 솔루션을 구동하는 데 필요한 데이터의 양과 다양성을 처리하는 데 필요한 규모와 유연성을 제공합니다. 고급 분석과 머신 러닝 혁신을 지원하는 데이터 인프라의 핵심 구성 요소입니다.
KO
EN
ZH
JA
RU
DE
FR
ES
PT
IT
AR
TR
VI
