Knowledge Graph

지식 그래프는 사람, 장소, 제품, 개념과 같은 개체를 노드로, 개체 간 관계를 레이블이 지정된 엣지로 표현하는 구조화된 사실 표현입니다. 각 사실은 (마리 퀴리, 출생지, 바르샤바)와 같이 주어, 술어, 목적어로 이루어진 트리플이며, 스키마 또는 온톨로지는 허용되는 개체 유형과 관계를 정의합니다. 관계가 명시적으로 저장되므로 시스템은 그래프의 경로를 따라 질문에 답하고, 서로 다른 출처에서 동일한 개체에 관한 사실을 결합하며, 직접 언급되지 않은 사실을 추론할 수 있습니다. 2012년에 출시된 Google Knowledge Graph는 검색 결과 옆에 표시되는 정보 패널을 제공하며, Wikimedia 자원봉사자들이 관리하는 무료 지식 그래프인 Wikidata에는 1억 개가 넘는 항목이 있습니다.

개체, 관계 및 트리플#

• 개체(노드): 사람, 도시, 화합물처럼 온톨로지에 따라 유형이 지정되며 고유한 정체성을 지닌 대상입니다.
• 관계(엣지): "출생지" 또는 "수도"와 같이 방향과 레이블이 지정된 연결입니다. 레이블이 의미를 담으므로 (바르샤바, 수도, 폴란드)와 (폴란드, 수도, 바르샤바)는 서로 다른 주장입니다.
• 속성: 생년월일이나 인구처럼 개체에 연결된 리터럴 값입니다.
• 온톨로지: 클래스, 관계 유형, 규칙으로 이루어진 스키마입니다. 예를 들어 모든 수도는 도시라는 규칙을 정의하면 추론기가 기존 사실에서 새로운 사실을 도출할 수 있습니다.

두 가지 데이터 모델이 널리 사용됩니다. W3C의 자원 기술 프레임워크(RDF)는 웹 URI로 모든 개체와 관계를 식별하고 SPARQL로 질의하는 순수 트리플을 저장하므로, Wikidata와 같은 개방형 연결 데이터에 적합합니다. Neo4j 같은 그래프 데이터베이스에서 사용하는 속성 그래프는 노드와 엣지에 키-값 속성을 지정할 수 있으며, Cypher 또는 2024년 4월 ISO가 표준으로 발표한 GQL 같은 언어로 질의합니다.

이 작은 그래프에서 "마리 퀴리는 어느 나라에서 태어났는가?"라는 질문은 마리 퀴리에서 바르샤바를 거쳐 폴란드로 이어지는 두 단계 경로입니다. 또한 "수상"이라는 공통 엣지는 두 퀴리 인물을 공동 수상한 1903년 상과 연결합니다.

지식 그래프 구축 및 질의#

그래프는 선별된 데이터베이스, 개체명 인식(NER) 및 관계 추출을 통해 처리한 텍스트, 점점 더 대규모 언어 모델(LLM)이 수행하는 추출 결과, 그리고 이미지로부터 채워집니다. 이후 개체 해소를 수행해 "M. Curie"와 "Marie Skłodowska-Curie"처럼 동일한 대상을 가리키는 서로 다른 언급을 하나의 노드로 병합합니다. 명시적 질의뿐 아니라 TransE 같은 지식 그래프 임베딩은 각 개체와 관계를 벡터로 표현하고, 머리 개체와 관계의 합이 꼬리 개체에 얼마나 가까이 도달하는지에 따라 후보 트리플을 평가하여 누락된 연결을 예측합니다. 그래프 신경망은 그래프 구조에서 직접 학습합니다.

컴퓨터 비전은 이미지에서 개체와 관계를 추출합니다. YOLO26 검출기의 출력은 (이미지, 포함, 클래스) 트리플이 됩니다. 이를 배경 사실과 결합하면 이미지에 어떤 유형의 차량이 있는지와 같이 검출기만으로는 답할 수 없는 질문에 답할 수 있습니다.

import networkx as nx
from ultralytics import YOLO

# Detect objects in an image
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Each detected class becomes an entity node linked to the image
graph = nx.DiGraph()
for class_id in result.boxes.cls.int().tolist():
    graph.add_edge("bus.jpg", result.names[class_id], relation="contains")

# Background knowledge as (subject, relation, object) triples
for subject, relation, obj in [("bus", "is_a", "vehicle"), ("car", "is_a", "vehicle"), ("person", "is_a", "human")]:
    graph.add_edge(subject, obj, relation=relation)

# Two-hop query: which detected entities are vehicles?
vehicles = [node for node in graph.successors("bus.jpg") if graph.has_edge(node, "vehicle")]
print(f"Vehicles in bus.jpg: {vehicles}")

지식 그래프와 대규모 언어 모델#

LLM은 가중치에 지식을 암묵적으로 저장하므로 사실을 검사하거나 업데이트하기 어렵고 환각이 발생하기 쉽습니다. 지식 그래프는 인용할 수 있는 출처와 즉시 적용되는 수정 사항을 포함해 사실을 명시적으로 저장합니다. GraphRAG는 두 가지를 결합합니다. 고립된 텍스트 청크 대신 연결된 개체와 관계 경로 또는 그래프 커뮤니티의 요약을 검색해 검색 증강 생성(RAG)을 확장합니다. 이를 통해 납품이 지연된 부품의 공급업체 중 다른 공장에도 공급하는 곳이 어디인지처럼 여러 단계의 추론이 필요한 질문에 답할 수 있습니다. LLM은 기존 그래프에 대한 SPARQL 또는 Cypher 쿼리로 자연어 질문을 변환하기도 합니다.

실제 적용 사례#

• 검색 및 어시스턴트: 개체 정보 패널, 직접 답변, 음성 어시스턴트는 대규모로 선별된 그래프에서 사람, 장소, 조직에 관한 사실을 조회합니다.
• 신약 개발: 생의학 그래프는 유전자, 단백질, 화합물, 질병, 부작용을 연결하며, 링크 예측은 잠재적인 약물 표적이나 승인된 약물의 새로운 용도를 제안합니다.
• 사기 탐지: 기기, 주소 또는 결제 카드를 공유하는 계정은 서로 연결된 고리를 형성합니다. 그래프를 탐색하면 각 계정이 개별적으로는 정상적으로 보여도 이러한 고리를 찾아낼 수 있습니다.
• 장면 이해: 장면 그래프는 이미지를 객체와 객체 간 관계로 표현합니다. 예를 들어 (사람, 타고 있음, 말)과 같이 나타냅니다. Visual Genome 데이터셋은 장면에 관한 질문에 답하는 모델을 학습하기 위해 100,000개가 넘는 이미지에 이러한 주석을 제공합니다.

지식 그래프와 관련 데이터 저장소 비교#

• 관계형 데이터베이스: 외래 키로 연결된 레코드를 테이블에 저장하므로 스키마가 고정된 트랜잭션에 적합합니다. "이 제품을 구매한 사람의 친구"와 같은 여러 단계의 질문에는 단계마다 조인이 필요하지만, 그래프는 저장된 엣지를 직접 탐색합니다.
• 벡터 데이터베이스: 임베딩 유사도를 기준으로 항목을 검색하므로 명시적 연결 없이도 관련 콘텐츠를 찾을 수 있습니다. 지식 그래프는 두 개체의 관계를 정확하게 기록하며, 하이브리드 시스템은 두 방식을 함께 사용합니다.
• 온톨로지: 온톨로지는 유형과 규칙의 스키마이며, 지식 그래프는 Wikidata에 있는 수백만 명의 개인, 장소, 저작물처럼 인스턴스 사실을 채워 넣은 해당 스키마입니다.