Объединение обработки естественного языка и компьютерного зрения

Обработка естественного языка (NLP) и компьютерное зрение (CV) — две отдельные области искусственного интеллекта (AI), которые в последние годы стали очень популярны. Благодаря развитию ИИ эти области теперь тесно связаны между собой.

Отличный пример такого взаимодействия — автоматическое создание подписей к изображениям. Компьютерное зрение позволяет анализировать изображение и понимать, что на нём изображено, а обработка естественного языка — создавать подпись с его описанием. Автоматическое создание подписей к изображениям часто используют в социальных сетях для повышения доступности, а в системах управления контентом — для удобной организации и маркировки изображений.

Инновации в области NLP и визуального ИИ привели к появлению множества подобных сценариев применения в самых разных отраслях. В этой статье мы подробнее рассмотрим NLP и компьютерное зрение и обсудим принципы их работы. Мы также изучим приложения, в которых обе технологии используются вместе.

Что такое NLP и AI для компьютерного зрения#

NLP изучает взаимодействие компьютеров с человеческим языком. Эта технология позволяет машинам осмысленно понимать, интерпретировать и создавать текст или речь. Её можно использовать для перевода, анализа тональности и обобщения текста.

Компьютерное зрение помогает машинам анализировать изображения и видео и работать с ними. Его можно применять для таких задач, как обнаружение объектов на фотографиях, распознавание лиц, отслеживание объектов и классификация изображений. Технологии визуального ИИ помогают машинам лучше понимать визуальный мир и взаимодействовать с ним.

Рис. 1. Пример классификации изображений.

В сочетании с компьютерным зрением NLP придаёт визуальным данным смысл, объединяя текст и изображения и обеспечивая более глубокое понимание. Как говорится, «лучше один раз увидеть, чем сто раз услышать», а если добавить текст, возможности становятся ещё шире и позволяют получать более подробные сведения.

Примеры совместного применения NLP и компьютерного зрения#

Наверняка ты замечал, что NLP и компьютерное зрение работают вместе в повседневных приложениях, например когда телефон переводит текст на фотографии.

Например, Google Translate использует обработку естественного языка и компьютерное зрение для перевода текста на изображениях. Если сфотографировать дорожный знак на другом языке, компьютерное зрение обнаружит текст и извлечёт его, а NLP переведёт его на нужный тебе язык.

NLP и CV работают вместе, делая этот процесс быстрым и удобным и позволяя пользователям в реальном времени понимать информацию на разных языках и взаимодействовать с ней. Благодаря этой интеграции языковые барьеры становятся менее значимыми.

Рис. 2. Функция перевода в Google Переводчике.

Вот ещё несколько примеров совместного применения NLP и компьютерного зрения:

• Беспилотные автомобили: CV можно использовать для обнаружения дорожных знаков, полос движения и препятствий, а NLP — для обработки голосовых команд и текста на дорожных знаках.
• Системы чтения документов: Визуальный ИИ распознаёт текст в отсканированных документах и рукописных записях, а обработка естественного языка интерпретирует эту информацию и составляет её краткое изложение.
• Визуальный поиск в приложениях для покупок: Компьютерное зрение распознаёт товары на фотографиях, а NLP обрабатывает поисковые запросы, чтобы улучшить рекомендации.
• Образовательные инструменты: CV распознаёт рукописные заметки и другие визуальные данные, а NLP на основе их содержания даёт пояснения или обратную связь.

Ключевые понятия на стыке компьютерного зрения и NLP#

Теперь, когда мы рассмотрели применение компьютерного зрения и обработки естественного языка, давай разберёмся, как их сочетание позволяет создавать мультимодальный AI.

Мультимодальный ИИ объединяет возможности компьютерного зрения по анализу изображений с пониманием языка, чтобы обрабатывать информацию в тексте и изображениях и устанавливать связи между ними. Например, в здравоохранении такой ИИ может помочь проанализировать рентгеновский снимок и составить понятное письменное описание возможных проблем, помогая врачам быстрее и точнее принимать решения.

Понимание естественного языка (NLU)#

Понимание естественного языка — это направление NLP, которое занимается интерпретацией и извлечением смысла из текста с учётом намерения автора, контекста, семантики, тона и структуры. Если NLP обрабатывает исходный текст, то NLU помогает машинам эффективнее понимать человеческий язык. Например, синтаксический разбор — это метод NLU, который преобразует письменный текст в структурированный формат, понятный машинам.

Рис. 3. Взаимосвязь NLP и NLU.

NLU взаимодействует с компьютерным зрением, когда визуальные данные содержат текст, который нужно понять. Компьютерное зрение извлекает текст из изображений, документов или видео с помощью таких технологий, как оптическое распознавание символов (OCR). Это может быть сканирование чека, чтение надписи на знаке или оцифровка рукописных заметок.

Затем NLU обрабатывает извлечённый текст, чтобы понять его смысл, контекст и намерение. Благодаря этому сочетанию системы могут не просто распознавать текст. Они могут распределять расходы по категориям на основе чеков или анализировать тональность и эмоциональную окраску. Вместе компьютерное зрение и NLU преобразуют визуальный текст в содержательную и полезную информацию.

Разработка промптов#

Промпт-инжиниринг — это процесс создания ясных, точных и подробных запросов, которые помогают генеративным системам ИИ, таким как большие языковые модели (LLMs) и визуально-языковые модели (VLMs), выдавать нужные результаты. Такие запросы служат инструкциями и помогают модели ИИ понять намерение пользователя.

Для эффективного промпт-инжиниринга нужно понимать возможности модели и составлять запросы, которые помогают ей давать точные, творческие и содержательные ответы. Это особенно важно для мультимодальных моделей, работающих и с текстом, и с изображениями.

Возьмём, к примеру, модель OpenAI DALL·E, которая создаёт изображения по текстовому описанию. Если попросить её создать «фотореалистичное изображение астронавта верхом на лошади», она сгенерирует именно такую картинку. Это полезно в таких областях, как графический дизайн: специалисты могут быстро превращать текстовые идеи в визуальные макеты, экономя время и повышая продуктивность.

Рис. 4. Изображение, созданное с помощью DALL-E от OpenAI.

Возможно, ты задаёшься вопросом, как это связано с компьютерным зрением — разве это не просто генеративный AI? На самом деле, эти направления тесно связаны. Генеративный AI опирается на основы компьютерного зрения, чтобы создавать совершенно новые визуальные материалы.

Модели генеративного AI, создающие изображения по текстовым промптам, обучаются на больших наборах данных, где изображения сопровождаются текстовыми описаниями. Благодаря этому модели учатся устанавливать связи между языком и визуальными понятиями, такими как объекты, текстуры и пространственные отношения.

Эти модели интерпретируют визуальные данные не так, как традиционные системы компьютерного зрения, например распознающие объекты на реальных изображениях. Вместо этого они используют усвоенное понимание этих понятий, чтобы создавать новые изображения на основе запросов. Сочетая эти знания с тщательно составленными запросами, генеративный ИИ может создавать реалистичные и детализированные изображения, соответствующие запросу пользователя.

Ответы на вопросы (QA)#

Системы ответов на вопросы предназначены для понимания вопросов на естественном языке и предоставления точных и релевантных ответов. Для интерпретации запросов и подготовки ответов они используют такие методы, как поиск информации, семантический анализ и глубокое обучение.

Продвинутые модели, такие как GPT-4o от OpenAI, могут отвечать на вопросы о визуальном содержимом (VQA), то есть анализировать изображения и отвечать на вопросы о них. Однако GPT-4o не выполняет напрямую задачи компьютерного зрения. Вместо этого модель использует специализированный кодировщик изображений, чтобы обработать изображения, извлечь признаки и объединить их с пониманием языка для подготовки ответа.

Рис. 5. Возможность ChatGPT отвечать на вопросы о визуальном содержимом. Изображение предоставлено автором.

Некоторые системы идут дальше и полностью интегрируют возможности компьютерного зрения. Они могут напрямую анализировать изображения и видео, чтобы распознавать объекты, сцены и текст. В сочетании с обработкой естественного языка такие системы способны отвечать на более сложные вопросы о визуальном содержимом. Например, они могут отвечать на вопросы «Какие объекты изображены на этой картинке?» или «Кто попал на эту видеозапись?», обнаруживая и интерпретируя визуальные элементы. Чтобы узнать, насколько хорошо современные визуально-языковые модели находят объекты на изображениях, посмотри рейтинг VLM.

Обучение без примеров (ZSL)#

Обучение без примеров (ZSL) — это метод машинного обучения, который позволяет моделям ИИ решать новые задачи, на которых они специально не обучались. Для этого используются дополнительные сведения, например описания или семантические связи, которые помогают связать уже известные модели классы с новыми, ранее не встречавшимися категориями.

В обработке естественного языка ZSL помогает моделям понимать темы, на которых они не обучались, опираясь на связи между словами и понятиями. Аналогичным образом в компьютерном зрении ZSL позволяет моделям распознавать объекты и сцены, с которыми они раньше не сталкивались: визуальные признаки, например крылья или перья, связываются с известными понятиями, например птицами.

ZSL объединяет NLP и CV, сочетая языковое понимание с визуальным распознаванием, и поэтому особенно полезно для задач, в которых задействованы обе области. Например, при ответах на вопросы о визуальном содержимом модель может анализировать изображение и понимать относящийся к нему вопрос, чтобы дать точный ответ. Этот метод также полезен для создания подписей к изображениям.

Главные выводы#

Объединение обработки естественного языка и компьютерного зрения привело к появлению систем ИИ, способных понимать и текст, и изображения. Такие системы применяются во многих отраслях: от чтения дорожных знаков беспилотными автомобилями до улучшения медицинской диагностики и повышения безопасности в социальных сетях. По мере совершенствования этих технологий они будут упрощать жизнь и открывать новые возможности в самых разных областях. Подробнее смотри в нашем репозитории GitHub и присоединяйся к нашему сообществу. Изучи применение ИИ в беспилотных автомобилях и сельском хозяйстве на страницах наших решений.