용어집

자연어 처리(NLP)

컴퓨터가 인간의 언어를 이해하고, 해석하고, 조작할 수 있게 해주는 기술인 자연어 처리(NLP)에 대해 알아보세요. 자연어 처리에 대해 알아보세요.

자연어 처리(NLP)는 다음과 같은 전문 분야입니다. 인공 지능(AI) 과 컴퓨터와 인간 간의 상호 작용에 초점을 맞춘 컴퓨터 과학으로 상호 작용에 초점을 맞춘 인공지능과 컴퓨터 과학의 전문 분야입니다. NLP의 궁극적인 목표는 인간의 언어를 읽고, 해독하고, 이해하고, 이해하는 것입니다. 언어를 가치 있는 방식으로 읽고, 해독하고, 이해하고, 이해하는 것입니다. 인간 커뮤니케이션과 컴퓨터 이해 사이의 간극을 메워줍니다, 시스템이 방대한 양의 비정형 텍스트 및 음성 데이터를 효율적으로 처리할 수 있도록 지원합니다. 챗봇부터 챗봇에서 번역 서비스에 이르기까지, NLP는 우리가 매일 경험하는 많은 디지털 상호 작용을 지원합니다.

NLP 작동 방식

NLP 시스템은 언어를 더 짧고 요소적인 조각으로 분해하여 언어 간의 관계를 이해하고 함께 작동하여 의미를 만들어내는지 이해합니다. 이 과정에는 몇 가지 주요 단계와 기술이 포함됩니다:

• 토큰화: 토큰화: 대부분의 대부분의 NLP 파이프라인에서는 원시 텍스트가 토큰(단어, 하위 단어 또는 문자)이라는 작은 단위로 나뉩니다.
• 통계 모델링: 초기 NLP는 규칙 기반 시스템에 의존했지만, 최신 접근 방식은 다음을 사용합니다. 머신 러닝(ML)을 사용하여 대규모 데이터 세트에서 패턴을 학습합니다.
• 딥 러닝(DL): 고급 신경망, 특히 순환 신경망(RNN) 과 트랜스포머는 이 분야에 혁명을 일으켰습니다. 이 논문에서 소개된 논문에서 소개한 트랜스포머 아키텍처 주의만 있으면 충분하다에 소개된 트랜스포머 아키텍처는 모델이 텍스트의 장거리 종속성을 처리할 수 있게 해주며, 최신 대규모 언어 모델(LLM)의 기반입니다. 및 BERT

실제 애플리케이션

NLP는 많은 현대 기술에 필수적인 요소입니다. 다음은 두 가지 구체적인 적용 예시입니다:

1. 금융 및 소매:기업과 금융 기관은 소셜 미디어, 뉴스, 고객 리뷰의 텍스트를 분석하여 여론을 측정하는 데 NLP를 사용합니다, 및 고객 리뷰를 분석하여 여론을 측정합니다. 텍스트의 감정 어조를 긍정, 부정, 중립으로 분류함으로써 기업은 다음을 수행할 수 있습니다. 주식 시장 동향을 예측하거나 브랜드 평판을 평가할 수 있습니다. 다음과 같은 도구 Stanford CoreNLP 제품군과 같은 도구가 이러한 작업에 자주 사용됩니다.
2. 임상 문서 의료분야:의료 분야에서 NLP는 다음과 같은 구조화되지 않은 임상 기록에서 중요한 정보를 자동으로 추출합니다. 환자 증상, 진단, 약물과 같은 중요한 정보를 자동으로 추출합니다. 이를 통해 코딩 프로세스(예: ICD-10)를 자동화하고, 환자 위험도 예측을 개선하고 관리 워크플로를 간소화하며, 다음과 같은 기관의 연구에서 강조된 바와 같이 국립보건원(NIH).

NLP vs. 관련 개념

NLP는 광범위한 분야이지만 특정 하위 분야 또는 관련 기술과 혼동되는 경우가 많습니다:

• 자연어 이해(NLU):NLU는 특히 기계 독해에 초점을 맞춘 NLP의 하위 집합으로, 텍스트의 의미와 의도를 파악하고 텍스트의 의도를 파악하는 데 중점을 두고 있습니다. NLP에는 처리 및 생성이 포함되지만 NLU는 엄밀히 말하면 이해.
• 컴퓨터 비전(CV):CV 는 시각 데이터(이미지/동영상)를 해석하는 데 중점을 두는 반면, NLP는 언어 데이터에 중점을 둡니다. 그러나 이러한 분야는 점점 더 융합되고 있습니다. 멀티모달 AI 애플리케이션(예: 이미지 캡션 또는 시각적 질문 답변과 같은 멀티모달 AI 애플리케이션으로 점점 더 융합되고 있습니다. Ultralytics 다음과 같은 모델을 통해 CV에 특화되어 있습니다. YOLO11와 같은 모델을 갖춘 CV에 특화되어 있지만, CV와 NLP를 효과적으로 통합(예 YOLO)를 통해 개방형 어휘를 감지할 수 있습니다. 텍스트 프롬프트.

코드 예제: 명명된 엔티티 인식

일반적인 NLP 작업 중 하나는 개체명 인식(NER)를 사용하여 는 텍스트의 주요 개체를 식별하고 분류합니다. 다음 예제에서는 자주 사용되는 spaCy 라이브러리를 사용하여 엔티티를 추출하는 워크플로우, 즉 ultralytics 를 사용하여 물체를 감지합니다.

# Install spaCy: pip install spacy
# Download model: python -m spacy download en_core_web_sm
import spacy

# Load a pre-trained standard NLP model
nlp = spacy.load("en_core_web_sm")

# Process a text string containing entities
text = "Ultralytics launched YOLO11 in Madrid this year."
doc = nlp(text)

# Iterate over detected entities and print their label
for ent in doc.ents:
    print(f"Entity: '{ent.text}' | Label: {ent.label_}")
# Output: Entity: 'Ultralytics' | Label: ORG, Entity: 'YOLO11' | Label: PRODUCT, ...

주요 NLP 도구 및 리소스

NLP 애플리케이션을 개발하려면 강력한 도구가 필요합니다. 강력한 Python 에코시스템은 다음을 제공합니다. 우수한 라이브러리를 제공합니다:

• 스파시: 프로덕션용으로 설계되어 다양한 언어에 대해 빠르고 정확한 사전 학습된 모델을 제공합니다.
• NLTK(자연어 툴킷): 교육과 연구에 이상적인 인간 언어 데이터로 작업할 수 있는 Python 프로그램을 구축할 수 있는 선도적인 플랫폼으로, 교육 및 연구에 이상적입니다.
• Ultralytics 플랫폼: 이 플랫폼은 비전에 초점을 맞추면서도 플랫폼은 AI 모델의 라이프사이클을 지원하며, 멀티모달 모델의 등장으로 복잡한 AI 시스템의 관리를 관리를 용이하게 합니다.

NLP와 컴퓨터 비전이 어떻게 결합되는지에 대해 자세히 알아보려면 다음 가이드를 읽어보세요. 에 대한 가이드를 읽어보세요.