데이터 레이크

데이터 레이크는 모든 정형, 반정형, 비정형 데이터를 규모에 관계없이 저장할 수 있는 중앙 집중식 리포지토리입니다. 미리 정의되고 가공된 형식으로 데이터를 저장하는 기존의 데이터 웨어하우스와 달리, 데이터 레이크는 방대한 양의 원시 데이터를 필요할 때까지 원시 형식으로 보관합니다. 이 아키텍처는 데이터 과학자가 초기 스키마의 제약을 받지 않고 복잡한 모델을 학습하고, 탐색적 분석을 수행하고, 새로운 패턴을 발견하는 데 적합한 유연하고 방대한 원본 데이터 풀을 제공하기 때문에 인공 지능(AI) 및 머신 러닝(ML)에 매우 강력합니다.

AI와 머신 러닝에서 데이터 레이크가 작동하는 방식

일반적인 AI 워크플로우에서 데이터 레이크는 모든 잠재적 데이터 소스에 대한 기본 데이터 소스 역할을 합니다. 이 프로세스는 사용자 로그, 소셜 미디어 피드, IoT 센서 판독값, 이미지, 동영상 등 다양한 소스의 원시 데이터를 레이크에 로드하는 데이터 수집으로 시작됩니다. 이 데이터는 수정되지 않은 원본 상태로 저장됩니다. 새로운 컴퓨터 비전(CV) 모델 훈련과 같은 프로젝트가 시작되면 엔지니어는 레이크에 액세스하여 관련 데이터의 하위 집합을 추출할 수 있습니다. 이 '스키마 온 리드' 접근 방식은 데이터 수집 시점이 아니라 데이터 분석 및 데이터 전처리 단계에서 구조가 적용된다는 것을 의미합니다. 이러한 유연성은 모델이 발전함에 따라 데이터 요구 사항이 변경될 수 있는 반복적인 ML 개발에 매우 중요합니다. AWS 및 Google Cloud와 같은 주요 클라우드 컴퓨팅 제공업체는 데이터 레이크 구축 및 관리를 위한 강력한 서비스를 제공합니다.

실제 AI/ML 애플리케이션

데이터 레이크는 다양하고 방대한 데이터 세트에 의존하는 대규모 AI 솔루션을 개발하는 데 필수적인 요소입니다.

1. 자율주행 차량 개발: 자율주행 차량은 LiDAR 포인트 클라우드, 고해상도 비디오, 레이더 판독값을 포함하여 매일 테라바이트의 원시 센서 데이터를 생성합니다. 이 빅 데이터는 데이터 레이크에 스트리밍됩니다. 엔지니어와 연구자들은 나중에 이 방대한 저장소를 쿼리하여 야간에 갑자기 도로를 건너는 보행자와 같이 드물거나 까다로운 시나리오를 찾아 모델 훈련 및 시뮬레이션에 사용할 수 있습니다. 이를 통해 물체 감지와 같은 작업을 위한 인식 모델을 지속적으로 개선하고 엣지 케이스에 대한 견고성을 확보할 수 있습니다. 이러한 워크플로우를 관리하기 위해 데이터브릭스 같은 플랫폼이 자주 사용됩니다.
2. 의료 이미지 분석: 병원과 연구 기관은 다양한 기계에서 다양한 형식의 의료 이미지(MRI, 엑스레이, CT 스캔)를 수집합니다. 이 데이터를 데이터 레이크에 중앙 집중화함으로써 연구 개발을 위한 풍부하고 다양한 데이터 세트를 생성합니다. 데이터 과학자는 이 원시 이미징 데이터에 액세스하여 뇌종양 데이터 세트와 같은 컬렉션에서 YOLO 모델을 학습시키는 등 진단 AI 모델을 개발할 수 있습니다. 원시 데이터를 저장하면 사전 처리된 형식에서 손실될 수 있는 중요한 세부 정보를 보존하여 의료 솔루션에서 보다 정확한 AI를 지원합니다.

관련 개념과 구별하기

데이터 레이크는 다른 데이터 스토리지 패러다임과 차별화되는 것이 중요합니다.

• 데이터 웨어하우스와 데이터 레이크: 가장 큰 차이점은 데이터 구조와 목적에 있습니다. 데이터 웨어하우스는 특정 목적(일반적으로 비즈니스 분석)을 위해 처리된 구조화되고 필터링된 데이터를 저장합니다. 반면, 데이터 레이크는 미리 정의된 스키마 없이 모든 유형(정형, 반정형, 비정형)의 필터링되지 않은 원시 데이터를 저장합니다. 따라서 데이터 레이크는 머신 러닝의 탐색적 특성에 더 적합합니다.
• 데이터베이스 대 데이터 레이크: 기존 데이터베이스, 특히 SQL과 같은 관계형 데이터베이스는 데이터를 쓰기 전에 미리 정의된 엄격한 스키마에 맞춰야 합니다. 이를 "스키마 온 쓰기"라고 합니다. 데이터 레이크는 "스키마 온 리드" 접근 방식을 사용하여 이미지, 텍스트, 센서 로그와 같이 AI에서 흔히 사용되는 다양한 데이터 형식을 처리하는 데 필요한 유연성을 제공합니다. 데이터베이스는 빠른 트랜잭션 쿼리에 최적화되어 있는 반면, 데이터 레이크는 Apache Spark와 같은 도구를 사용해 대규모 분석 처리를 위해 구축되었습니다.
• 데이터 마이닝 대 데이터 레이크: 데이터 레이크는 스토리지 저장소입니다. 반면에 데이터 마이닝은 대규모 데이터 세트에서 패턴과 인사이트를 발견하는 프로세스입니다. 데이터 마이닝 기법은 데이터 레이크에 저장된 데이터에 적용됩니다.

혜택과 과제

혜택:

• 유연성: 사전 구조화 없이 모든 소스의 모든 데이터 유형을 저장합니다.
• 확장성: 아파치 하둡과 같은 분산 스토리지 시스템을 사용하여 테라바이트에서 페타바이트에 이르는 대용량 데이터를 쉽게 처리할 수 있습니다.
• 비용 효율성: 저비용의 상용 스토리지를 활용하여 방대한 양의 데이터를 경제적으로 보관할 수 있습니다.
• 데이터 민주화: 다양한 팀(데이터 과학자, 분석가, ML 엔지니어)이 보고부터 딥 러닝까지 다양한 사용 사례에 대해 원시 데이터에 액세스할 수 있도록 합니다.
• 미래 대비: 원시 데이터를 무기한 보존하여 현재 존재하지 않는 새로운 도구와 기법으로 향후 분석할 수 있습니다.

도전 과제:

• 데이터 거버넌스: 데이터 품질, 계보 및 액세스 제어를 보장하는 것은 복잡할 수 있습니다.
• 보안: 민감한 원시 데이터를 보호하려면 강력한 데이터 보안 및 데이터 개인정보 보호 조치가 필요합니다.
• 데이터 늪 위험: 적절한 관리, 메타데이터, 카탈로그가 없으면 데이터 레이크는 무질서해지고 효과적으로 사용하기 어려워져 '데이터 늪'으로 변할 수 있으며, 이는 선도적인 데이터 관리 회사들이 설명하는 개념입니다.
• 복잡성: 관리 및 분석을 위한 전문 기술이 필요합니다. 데이터 수집에서 모델 배포에 이르는 수명 주기를 관리하려면 효과적인 MLOps 관행이 중요합니다.