Semantic Chunking

Семантическое разбиение на фрагменты — это передовой метод предварительной обработки данных, используемый в машинном обучении (ML) и искусственном интеллекте (AI) для разделения больших наборов данных на небольшие содержательные сегменты. Если ты задаёшься вопросом, «что такое разбиение на фрагменты» в контексте AI, то это процесс разделения длинных последовательностей неструктурированных данных, таких как документы, видео или аудио, на удобные для обработки части или сегменты. Стандартное определение разбиения на фрагменты часто подразумевает разделение данных по фиксированному количеству символов или временному интервалу. Однако «разбиение по смыслу», или семантическое разбиение на фрагменты, идёт дальше: оно анализирует контекст и объединяет связанную информацию. Это позволяет сохранить основную мысль и предотвратить потерю контекста, которая часто возникает при произвольном разделении.

Как работает семантическое разбиение на фрагменты?#

Чтобы понять, как выполнять семантическое разбиение на фрагменты, полезно рассмотреть его роль в современных генеративных конвейерах. Итак, что такое семантическое разбиение на фрагменты в RAG? При подготовке данных для векторной базы данных модель эмбеддингов анализирует соседние предложения или визуальные элементы и вычисляет взаимосвязь между ними. Используя статистические метрики, такие как косинусное сходство, система определяет точки смены темы, часто называемые точками разрыва, и разделяет данные в этих местах. Благодаря этому фрагменты данных, извлекаемые большой языковой моделью (LLM) во время запроса, содержат завершённые и связные мысли, что значительно повышает точность сгенерированного ответа. Недавние исследования RAPTOR и адаптивной кластеризации графов показывают, что эта стратегия с учётом контекста превосходит разбиение на фрагменты фиксированного размера.

Семантическое разбиение на фрагменты в компьютерном зрении#

Хотя семантическое разбиение на фрагменты традиционно связывают с обработкой естественного языка (NLP), оно также имеет большое значение для компьютерного зрения и мультимодального AI. Например, при анализе документов визуальный семантический фрагмент может объединять диаграмму и поясняющую подпись вместо того, чтобы разделять их по строгим границам страниц. Передовые облачные провайдеры и инструменты API предоставляют специализированные настройки семантического разбиения на фрагменты для работы со сложными типами данных.

Разработчики могут использовать модель Ultralytics YOLO26, чтобы автоматизировать извлечение таких визуальных фрагментов. Определяя объекты на изображении или в видео, ты можешь создавать локализованные смысловые сегменты, отражающие основное содержимое сцены.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual semantics
model = YOLO("yolo26n.pt")

# Run inference to detect objects within a visual scene
results = model("scene.jpg")

# Group detected object classes to form a semantic visual chunk
visual_chunk = [model.names[int(cls)] for cls in results[0].boxes.cls]
print(f"Semantic visual chunk elements: {visual_chunk}")

Практические применения#

Семантическое разбиение на фрагменты решает важные задачи в различных рабочих процессах AI. Вот два конкретных примера:

• Мультимодальный RAG для AI документов: При разборе сложных PDF-файлов, например финансовых отчётов, визуальное разбиение на фрагменты гарантирует, что ограничивающие рамки вокруг таблиц будут объединены с соответствующими текстовыми сводками. Благодаря этому AI-ассистенты могут точно отвечать на узкоспециализированные вопросы, не теряя числовой контекст.
• Автоматическое создание видеосводок: В системах безопасности и видеонаблюдения непрерывные видеопотоки семантически разбиваются на фрагменты на основе обнаруженных событий, например входа человека в закрытую зону. Используя отслеживание объектов, система объединяет соответствующие кадры в полезный видеоклип вместо случайного 10-секундного фрагмента. Команды, работающие с такими огромными наборами данных, часто используют Ultralytics Platform для удобной разметки, обучения и развёртывания таких сложных конвейеров, управляемых событиями.

Связанные понятия#

Важно отличать этот метод от схожих терминов AI:

• Разбиение действий на фрагменты: Если семантическое разбиение на фрагменты группирует данные по смыслу для оптимального поиска, то разбиение действий на фрагменты объединяет последовательности физических движений, например траекторию роботизированной руки, в отдельные исполняемые действия в робототехнике.
• Семантический поиск: Семантическое разбиение на фрагменты — это важный этап подготовки данных, делающий возможным точный поиск информации, тогда как семантический поиск — это непосредственный процесс запроса, извлекающий подготовленные фрагменты на основе намерения пользователя.