Feature Store

특징 저장소는 머신러닝 모델의 입력 특징을 정의·계산·저장·제공하는 데이터 시스템으로, 모델이 학습 시와 실시간 예측 시에 동일한 특징 값을 받도록 합니다. 특징은 모델 입력 하나를 의미합니다. 예를 들어 지난 한 시간 동안 카드로 이루어진 거래 건수, 제품의 평균 평점, 이미지의 임베딩이 있습니다. 특징 저장소는 학습 세트 구축을 위한 전체 이력을 오프라인 저장소에 보관하고, 예측 시점의 빠른 조회를 위해 최신 값을 온라인 저장소에 보관합니다. Uber는 2017년 Michelangelo 머신러닝 플랫폼에 관한 게시물에서 공유 특징 저장소를 소개했습니다. Gojek이 Google Cloud와 함께 시작한 오픈 소스 특징 저장소 Feast가 뒤이어 등장했으며, Amazon SageMaker, Google Vertex AI, Azure Machine Learning, Databricks에서도 관리형 특징 저장소를 제공하게 되었습니다.

피처 스토어 작동 방식#

특징은 원시 이벤트와 테이블에서 시작하며, 파이프라인은 한 시간의 슬라이딩 윈도우에서 카드 거래 건수를 세는 특징 엔지니어링이나 신경망을 사용하는 특징 추출을 통해 이를 모델 입력으로 변환합니다. 특징 저장소는 이러한 작업을 몇 가지 구성 요소로 체계화합니다.

• 특징 레지스트리: 각 특징의 이름, 엔터티 키(설명 대상인 고객, 카드, 제품 또는 카메라), 데이터 유형, 변환 코드, 소유자, 버전을 검색할 수 있도록 관리하여 팀이 특징을 다시 만드는 대신 재사용하도록 합니다.
• 오프라인 저장소: 이벤트 타임스탬프가 포함된 모든 과거 값을 데이터 웨어하우스나 데이터 레이크에 보관하며, 학습 세트 구축과 배치 스코어링에 사용합니다.
• 온라인 저장소: Redis 또는 DynamoDB와 같은 키-값 데이터베이스에 엔터티별 최신 값을 저장하며, 추론 중 수 밀리초 내에 조회할 수 있습니다.
• 구체화: 새로운 값을 계산하고 오프라인 저장소에서 가장 최신 값을 온라인 저장소로 복사하는 배치 또는 스트리밍 작업입니다.

예측 시점에 사기 검사 같은 서비스는 카드 ID를 보내 온라인 저장소에서 카드의 현재 특징을 받아 모델에 전달합니다. 이를 통해 결제 과정의 실시간 추론에 필요한 수준으로 추론 지연 시간을 낮게 유지합니다.

시점 기준 정확성#

각 학습 행에는 레이블이 지정된 이벤트가 발생한 당시의 특성값을 사용해야 합니다. 나중에 계산된 값에는 미래 정보가 포함되며, 이는 오프라인에서는 모델이 정확해 보이게 하지만 프로덕션에서는 실패하게 만드는 데이터 누수의 한 형태입니다. Feature Store는 시점 기준 조인을 사용해 이를 방지합니다. 시점 기준 조인은 동일한 엔터티에 대해 레이블의 타임스탬프와 같거나 그 이전 시점의 최신 특성값을 각 레이블에 연결합니다. pandas 함수 merge_asof는 동일한 조인을 수행합니다:

import pandas as pd

# 오프라인 스토어: 각 카드의 지난 1시간 거래 횟수를 시간에 따라 기록
features = pd.DataFrame(
    {
        "card_id": ["A", "B", "A", "A"],
        "time": pd.to_datetime(["2026-10-01 09:00", "2026-10-01 10:00", "2026-10-01 12:00", "2026-10-01 15:00"]),
        "txn_count_1h": [1, 2, 4, 9],
    }
)

# 학습에 사용할 레이블 지정 이벤트: 각 거래는 사기였습니까?
labels = pd.DataFrame(
    {
        "card_id": ["B", "A"],
        "time": pd.to_datetime(["2026-10-01 11:00", "2026-10-01 13:30"]),
        "is_fraud": [0, 1],
    }
)

# 시점 기준 조인: 각 레이블에 이벤트 시점과 같거나 그 이전 시점의 카드 최신 특성값을 연결
training_rows = pd.merge_asof(labels, features, on="time", by="card_id")
print(training_rows)

13:30의 카드 A 사기 레이블에는 12:00에 기록된 횟수 4가 연결되고, 거래 이후인 15:00에 기록된 횟수 9는 학습 세트에서 제외됩니다. 11:00의 카드 B 레이블에는 자체 값인 2가 연결됩니다. by 인수가 엔터티 키를 기준으로 행을 매칭하기 때문입니다.

학습-서빙 간 불일치#

학습-서빙 간 불일치는 모델이 학습에 사용한 특성과 프로덕션에서 입력받는 특성 사이의 차이입니다. 일괄 SQL 작업이 학습 특성을 계산하고 별도로 작성된 애플리케이션 코드가 서빙 특성을 계산할 때 발생하며, 시간대, 윈도 경계, 단위 또는 결측값 처리 방식이 서로 다를 수 있습니다. Google의 머신러닝 규칙은 이 불일치에 대한 섹션을 할애하고, 이후 학습 실행에서 정확히 동일한 값을 사용할 수 있도록 서빙 시점에 사용된 특성을 기록할 것을 권장합니다. Feature Store는 두 용도에 대해 하나의 정의로 각 특성을 한 번만 계산하여 중복된 코드 경로를 없애고, 각 특성의 최신성, 결측값, 데이터 드리프트를 기록하므로 모델 모니터링을 통해 정확도 저하의 원인을 잘못된 입력까지 추적할 수 있습니다.

Feature Store와 관련 시스템 비교#

• 데이터 레이크: 모든 형식의 원시 파일과 처리된 파일을 저장합니다. 많은 오프라인 스토어가 데이터 레이크 안에 있으며, Feature Store는 그 위에 엔터티 키, 타임스탬프, 시점 기준 검색, 온라인 서빙 기능을 더합니다.
• 벡터 데이터베이스: 쿼리 벡터와 가장 유사한 저장 임베딩을 찾습니다. Feature Store는 엔터티 ID로 값을 조회하며, 임베딩을 횟수, 평균, 범주와 함께 하나의 특성으로 저장할 수도 있습니다.
• 모델 레지스트리: 학습된 모델과 메타데이터의 버전을 관리하며, Feature Store는 해당 모델이 사용하는 입력의 버전을 관리합니다.
• 모델 서빙: API 뒤에서 모델을 실행하고, 각 요청에 필요한 특성을 가져오기 위해 온라인 스토어를 호출합니다.

컴퓨터 비전의 특성#

비디오 분석은 카메라 피드를 예측, 이상 탐지, 예측 모델링에 사용할 특성으로 변환합니다. 예를 들어 매장 입구의 시간당 방문자 수, 계산대의 대기열 길이, 생산 라인별 결함률을 카메라 ID 또는 라인 ID와 타임스탬프로 키 지정해 기록합니다. 소매 분야에서는 사람 수 세기가 인력 배치 및 수요 모델의 입력이 되고, 제조 분야에서는 교대조별 결함 수가 유지보수 모델의 입력이 됩니다. Ultralytics YOLO 객체 수 세기는 이러한 값을 직접 생성합니다. 감지된 각 객체를 프레임 간에 추적하고, 객체가 선이나 영역을 통과할 때 누적된 in_count 및 out_count 총계와 클래스별 횟수를 반환하므로, 카메라별 타임스탬프가 포함된 값으로 Feature Store에 기록할 수 있습니다.