Natural Language Understanding (NLU)

자연어 이해 (NLU)는 텍스트의 의미, 즉 작성자의 의도, 언급된 대상, 여러 해석이 가능한 경우 의도된 해석을 파악하는 자연어 처리 (NLP)의 한 분야입니다. NLU 시스템은 "내일 7시에 두 명으로 예약해 줘"를 reserve_table과 같은 의도 및 인원수, 시간, 날짜에 대한 슬롯을 포함하는 구조화된 요청으로 변환해 소프트웨어가 처리할 수 있도록 합니다. 가상 어시스턴트, 고객 서비스 챗봇, 검색 엔진은 요청에 대한 처리나 응답 방식을 결정하기 전에 모든 요청에 NLU를 적용합니다.

언어 이해가 어려운 이유#

같은 단어도 수준에 따라 서로 다른 의미를 가질 수 있습니다. "Bank"는 금융기관이나 강둑을 뜻할 수 있고, "나는 망원경을 가진 남자를 봤다"라는 문장은 망원경을 누가 들고 있는지 명시하지 않습니다. "트로피가 갈색 여행 가방에 들어가지 않는 것은 너무 크기 때문이다"에서 "it"은 트로피를 가리키지만, "크다"를 "작다"로 바꾸면 여행 가방을 가리키게 됩니다. Hector Levesque는 2011년에 이러한 Winograd 스키마를 기계 이해의 테스트로 제안했습니다. 이를 해결하려면 단어 통계가 아닌 세상에 관한 지식이 필요하기 때문입니다. Terry Winograd의 SHRDLU(1968~1970)와 같은 초기 규칙 기반 시스템은 규칙이 완전히 정의된 블록 시뮬레이션 세계 안에서만 입력된 명령을 이해했습니다.

NLU의 핵심 작업#

• 의도 분류: 잔액 확인이나 카드 차단과 같이 애플리케이션의 목표 중 하나에 요청을 할당합니다.
• 개체명 인식 (NER): 요청에 언급된 사람, 장소, 제품, 날짜 및 금액을 찾아 어시스턴트가 의도 슬롯을 채우는 데 사용하도록 합니다.
• 시맨틱 파싱: 문장을 데이터베이스 쿼리나 API 호출처럼 프로그램에서 실행할 수 있는 형식으로 매핑합니다.
• 공동 참조 해결: 대명사 및 기타 표현을 해당 표현이 가리키는 개체와 연결합니다.
• 자연어 추론: 한 문장이 다른 문장을 함의하는지, 모순되는지 또는 중립적인지 판단합니다.
• 감성 분석: 텍스트에 표현된 의견을 파악합니다.

어시스턴트는 일반적으로 미세 조정된 트랜스포머 인코더로 의도를 분류합니다. 문장 인코더는 요청과 의미가 가장 가까운 예시를 가진 의도를 선택해 각 의도별 예시 하나만으로 원샷 분류를 수행할 수도 있습니다.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# One labeled example per intent, as an assistant's training data would provide
intents = {
    "check_balance": "What is my account balance?",
    "block_card": "Please freeze my debit card",
    "transfer_money": "Send money to another account",
}
utterances = ["my card was stolen", "how much cash do I have left", "pay Alex back 20 dollars"]

# Assign each utterance the intent whose example is closest in meaning
scores = model.similarity(model.encode(utterances), model.encode(list(intents.values())))
for text, row in zip(utterances, scores):
    best = int(row.argmax())
    print(f"{text!r} -> {list(intents)[best]} ({row[best]:.2f})")

세 요청 모두 올바른 의도로 분류됩니다. block_card(0.42), check_balance(0.49), transfer_money(0.28)입니다. "남은 현금이 얼마나 있지"와 "Alex에게 20달러를 갚아 줘"는 의도 예시와 공통된 단어가 없으므로 키워드가 아니라 임베딩을 통해 일치 여부를 판단합니다. 송금 요청은 다른 의도의 0.17보다 높은 0.28의 점수만으로도 선택됩니다. Rasa와 같은 프레임워크는 가장 높은 점수가 신뢰도 임계값보다 낮은 요청을 사용자에게 다시 표현해 달라고 요청하는 대체 처리기로 보냅니다.

벤치마크 및 모델#

GLUE(2018)는 감성 분석, 바꿔 쓰기 탐지, 자연어 추론 등을 포함하는 9개의 문장 및 문장 쌍 작업을 하나의 점수로 통합했으며, BERT는 2018년 해당 점수를 80.5로 끌어올렸습니다. 더 어려운 후속 벤치마크인 SuperGLUE(2019)는 Winograd 방식의 공동 참조 해결을 추가했으며, 2021년 1월 Microsoft의 DeBERTa와 Google의 T5 + Meena는 모두 인간 기준 점수인 89.8을 넘어섰습니다. 높은 점수는 지름길 학습에 의존할 수 있습니다. Suchin Gururangan과 동료들은 2018년에 추론 문장 쌍의 두 번째 문장만 읽는 분류기가 SNLI 데이터셋의 약 67%를 올바르게 분류한다는 것을 보였습니다. 부정어와 같은 단서가 "모순" 라벨과 상관관계가 있기 때문입니다. 이제 대규모 언어 모델 (LLM)은 프롬프트만으로 대부분의 NLU 작업을 수행하며, 소형 인코더 모델은 지연 시간과 요청당 비용이 중요한 환경에서 계속 널리 사용됩니다.

검색 및 비전에서의 NLU#

시맨틱 검색은 검색어의 정확한 단어가 아니라 의미를 일치시켜 검색어에 NLU를 적용하며, 벡터 검색은 수백만 개 항목에서 이를 빠르게 수행합니다. CLIP처럼 텍스트와 이미지가 임베딩 공간을 공유하면 같은 아이디어를 모달리티 간에도 적용할 수 있습니다. Ultralytics Platform Explore 페이지의 Images 탭은 "소파 위의 고양이"와 같은 장면 설명을 입력받아 파일 이름이나 태그에 의존하지 않고 공개 데이터셋에서 설명에 해당하는 이미지를 반환합니다.

NLU와 관련 용어 비교#

• NLP: 인간 언어를 컴퓨터로 처리하는 전체 분야입니다. NLU는 입력을 해석하고 자연어 생성 (NLG)은 출력을 작성합니다.
• 음성 인식: 음성 오디오를 텍스트로 변환한 뒤 NLU가 변환된 텍스트를 해석합니다.
• 광학 문자 인식 (OCR): 텍스트 이미지에서 문자를 추출한 뒤 NLU가 의미를 파악하도록 합니다.
• 질의응답: 자연어 질문에 대한 답변을 반환하며, 이를 위해 NLU가 질문과 답변이 포함된 텍스트를 모두 해석해야 합니다.