Глоссарий

Обработка естественного языка (NLP)

Изучите технологию обработки естественного языка (NLP), позволяющую компьютерам понимать, интерпретировать и манипулировать человеческим языком. человеческим языком.

Обработка естественного языка (НЛП) - это специализированная отрасль искусственного интеллекта (ИИ) и компьютерных наук, которая фокусируется на взаимодействии между компьютерами и людьми посредством естественного языка. Конечной целью НЛП является чтение, расшифровка, понимание и осмысление человеческого языка таким образом, чтобы это приносило пользу. Она преодолевает разрыв между человеческим общением и компьютерным пониманием, позволяя системам эффективно обрабатывать огромные объемы неструктурированных текстовых и речевых данных. От чат-ботов до переводческих сервисов, НЛП обеспечивает многие из цифровых взаимодействий, с которыми мы сталкиваемся ежедневно.

Как работает НЛП

Системы НЛП разбивают язык на более короткие, элементарные части, чтобы понять, как они связаны между собой и как как они работают вместе, создавая смысл. Этот процесс включает в себя несколько ключевых этапов и технологий:

• Токенизация: Первый шаг в В большинстве конвейеров NLP сырой текст делится на более мелкие единицы, называемые токенами (слова, подслова или символы).
• Статистическое моделирование: В раннем НЛП использовались системы, основанные на правилах, но современные подходы используют Машинное обучение (ML) для изучения закономерностей из больших наборов данных.
• Глубокое обучение (DL): Продвинутые нейронные сети, в частности Рекуррентные нейронные сети (РНС) и Трансформаторы, произвели революцию в этой области. Архитектура Архитектура трансформеров, представленная в статье Attention Is All You Needпозволяет моделям обрабатывать дальние зависимости в тексте и является основой современных больших языковых моделей (LLM), таких как GPT-4 и BERT.

Применение в реальном мире

НЛП является неотъемлемой частью многих современных технологий. Вот два конкретных примера его применения:

1. Анализ настроений в финансах и Розничная торговля:Предприятия и финансовые учреждения используют NLP для изучения общественного мнения, анализируя тексты из социальных сетей, новостей, и отзывы клиентов. Классифицируя эмоциональный тон текста как положительный, отрицательный или нейтральный, компании могут прогнозировать тенденции на фондовом рынке или оценивать репутацию бренда. Такие инструменты, как Stanford CoreNLP suite, часто используются для решения подобных задач.
2. Клиническая документация в Здравоохранение:В медицинской сфере НЛП автоматически извлекает важную информацию из неструктурированных клинических записей, таких как симптомы, диагнозы и лекарства. Это позволяет автоматизировать процессы кодирования (например, МКБ-10), повысить риск для пациента Прогнозирование рисков пациентов и оптимизация административных рабочих процессов, что подтверждается исследованиями таких организаций, как Национальные институты здоровья (NIH).

NLP в сравнении со смежными концепциями

Хотя НЛП - это широкая область, ее часто путают с отдельными подобластями или смежными технологиями:

• Понимание естественного языка (NLU):NLU - это подмножество NLP, специально сфокусированное на машинном понимании текста - определении смысла и смысла и намерений, скрывающихся за текстом. В то время как NLP включает в себя обработку и генерацию, NLU занимается исключительно пониманием.
• Компьютерное зрение (КВ):КВ фокусируется на интерпретации визуальных данных (изображений/видео), в то время как НЛП фокусируется на лингвистических данных. Однако эти области все больше сближаются в Мультимодальные приложения ИИ, такие как изображение субтитры или визуальные ответы на вопросы. Ultralytics специализируется на CV с такими моделями, как YOLO11но эффективная интеграция CV с NLP (например, через YOLO) позволяет выявлять открытую лексику с помощью текстовых подсказок.

Пример кода: Распознавание именованных сущностей

Одной из распространенных задач НЛП является Распознавание именованных сущностей (NER), который выявляет и классифицирует ключевые сущности в тексте. В следующем примере используется популярный spaCy библиотека для Извлечение сущностей - процесс, сравнимый с тем, как можно использовать ultralytics для обнаружения объектов.

# Install spaCy: pip install spacy
# Download model: python -m spacy download en_core_web_sm
import spacy

# Load a pre-trained standard NLP model
nlp = spacy.load("en_core_web_sm")

# Process a text string containing entities
text = "Ultralytics launched YOLO11 in Madrid this year."
doc = nlp(text)

# Iterate over detected entities and print their label
for ent in doc.ents:
    print(f"Entity: '{ent.text}' | Label: {ent.label_}")
# Output: Entity: 'Ultralytics' | Label: ORG, Entity: 'YOLO11' | Label: PRODUCT, ...

Основные инструменты и ресурсы НЛП

Разработка приложений для НЛП требует надежных инструментов. Сайт Python экосистема предлагает отличные библиотеки:

• СпаКи: Предназначен для использования на производстве и предлагает быстрые и точные предварительно обученные модели для многих языков.
• NLTK (Natural Language Toolkit): Ведущая платформа для для создания программ Python для работы с человеческими языковыми данными, идеальная для обучения и исследований.
• ПлатформаUltralytics : Несмотря на то, что платформа ориентирована на видение, она поддерживает жизненный цикл моделей ИИ, а с ростом числа мультимодальных моделей облегчает управление ими. Платформа поддерживает жизненный цикл моделей ИИ, а с ростом числа мультимодальных моделей облегчает управление сложными системами ИИ.

Для более глубокого изучения того, как НЛП и компьютерное зрение объединяются, прочтите наше руководство по по соединению НЛП и компьютерного зрения.