Что такое обработка изображений? Краткое введение

Когда ты идёшь по торговому центру или оживлённой городской улице, камеры над входами и пешеходными дорожками записывают происходящее. Каждую секунду они генерируют визуальные данные, но чаще всего мы этого даже не замечаем.

Этот непрерывный поток данных питает современные системы на основе ИИ — от умных систем безопасности до беспилотных автомобилей. В основе этих инноваций лежат вычисления изображений — универсальная область, объединяющая информатику, математику и физику.

Вычисления изображений помогают машинам понимать, что они видят на изображении. Благодаря им системы распознают происходящее в сцене и решают, как действовать или реагировать, например остановить беспилотный автомобиль, если появляется препятствие.

В этой статье мы расскажем, что такое обработка изображений и как она используется в современных системах искусственного интеллекта (AI).

Разбираемся в вычислениях изображений#

Вычисления изображений — это процесс получения, обработки и анализа изображений с помощью современных алгоритмов. Изображения при этом рассматриваются как данные, которые машины могут понимать и обрабатывать.

Иными словами, каждое изображение обрабатывается как сетка чисел. Для этого пиксели — мельчайшие элементы изображения — преобразуются в матрицу из строк и столбцов. Числовое значение каждого пикселя сообщает машине, насколько светлая или тёмная определённая область изображения.

Способ организации этих значений зависит от того, является изображение оттенками серого или цветным. В изображениях в оттенках серого значения пикселей обычно находятся в диапазоне от 0 (чёрный) до 255 (белый). В цветных изображениях для представления разных цветовых каналов используют несколько матриц, например для красного, зелёного и синего (RGB) или для тона, насыщенности и значения яркости (HSV).

Рис. 1. Матричное представление изображений (Источник)

Помимо матриц пикселей, изображения часто содержат скрытую контекстную информацию — метаданные. Метаданные включают важные сведения, например разрешение изображения, разрядность, настройки камеры или датчика, а также точное время съёмки. Изображения сохраняются в специальных форматах файлов, чтобы сохранить и визуальные данные, и метаданные.

Например, в биомедицинских вычислениях изображений часто используется формат «Цифровая визуализация и коммуникации в медицине» (DICOM). DICOM объединяет визуальные данные изображения с информацией о пациенте, например идентификационными данными и настройками оборудования, обеспечивая точный, единообразный и безопасный анализ медицинских изображений.

Как работают вычисления изображений#

Теперь, когда мы лучше понимаем, что такое вычисления изображений, рассмотрим этапы преобразования видеопотока с камеры в полезные данные.

Хотя точный рабочий процесс может различаться в зависимости от приложения, большинство систем вычислений изображений проходят следующие основные этапы:

• Получение изображений: Сначала визуальные данные снимают с помощью камер и датчиков или берут из открытых наборов изображений.
• Предварительная обработка изображений: Затем полученные изображения масштабируют, очищают от шума, улучшают и преобразуют в заданное цветовое пространство, чтобы привести входные данные к единому формату.
• Извлечение признаков: Алгоритмы глубокого обучения используются для выявления важных закономерностей на изображении, например границ, форм и текстур.
• Интерпретация: Извлечённые признаки анализируются для выполнения таких задач, как обнаружение объектов, сегментация изображений и отслеживание объектов.
• Результат: Наконец, система формирует структурированные выходные данные, например метки классов или ограничивающие рамки, и представляет их в удобном для людей или других систем виде, чтобы их можно было понять и использовать для визуализации.

Вычисления изображений, компьютерное зрение и обработка изображений#

Говоря о вычислениях изображений, ты можешь также встретить такие термины, как «обработка изображений» и «компьютерное зрение». Хотя эти термины часто используют как взаимозаменяемые, они описывают разные способы взаимодействия систем ИИ с визуальными данными.

Например, обработка изображений сосредоточена на улучшении изображений или повышении качества входных изображений с помощью простых операций, таких как удаление шума, изменение размера и настройка контрастности. Компьютерное зрение — область ИИ, которая развивает обработку изображений, позволяя машинам распознавать объекты, интерпретировать сцены и понимать, что происходит на изображениях и видео.

Вычисления изображений объединяют обработку изображений и компьютерное зрение, преобразуя визуальные данные в содержательные и полезные результаты для интеллектуальных систем.

Рис. 2. Обработка изображений, компьютерное зрение и вычисления изображений. Изображение предоставлено автором.

Как сегодня реализуются вычисления изображений#

Теперь давай посмотрим, как вычисления изображений реализуются сегодня.

На ранних этапах развития вычислений изображений такие признаки, как границы, углы и текстуры, задавались вручную с помощью алгоритмов на основе правил и алгоритмов с признаками, разработанными вручную. Эти методы неплохо работали в контролируемых условиях, но плохо масштабировались и не адаптировались к сложным условиям реального мира.

Современные системы обработки изображений устраняют эти ограничения с помощью методов глубокого обучения. Такие модели, как сверточные нейронные сети (CNNs) и визуальные трансформеры, автоматически извлекают важные признаки из больших наборов изображений. Это позволяет им точнее и надёжнее выполнять такие задачи, как обнаружение объектов, сегментация экземпляров и отслеживание объектов.

Сегодня в рабочих процессах обработки изображений часто используются модели компьютерного зрения реального времени, предназначенные для внедрения в промышленные системы искусственного интеллекта. Например, модели визуального ИИ, такие как Ultralytics YOLO26, обеспечивают быстрое и эффективное выполнение задач компьютерного зрения, таких как обнаружение объектов и сегментация экземпляров, как на периферийных устройствах, так и в облаке.

Рис. 3. Пример обнаружения и сегментации объектов на изображении с помощью Ultralytics YOLO26.

Практическое применение вычислений изображений#

Вычисления изображений широко применяются в реальных задачах для анализа визуальных данных и принятия мер на их основе. Давай рассмотрим, как вычисления изображений применяются в разных областях.

Вычисления медицинских изображений для раннего выявления заболеваний#

Обработка изображений помогает врачам и клиницистам раньше выявлять заболевания и эффективнее анализировать медицинские снимки. Такие системы быстро обрабатывают медицинские изображения, например рентгенограммы и снимки магнитно-резонансной томографии (MRI), и часто дают более стабильные результаты, чем ручной анализ.

Например, модели, такие как Ultralytics YOLO26, можно обучать на больших наборах рентгеновских снимков грудной клетки, например на наборе данных рентгеновских снимков грудной клетки ZhangLabData, чтобы выявлять закономерности, связанные с инфекциями и аномалиями. После обучения эти модели помогают определить, выглядит ли снимок нормальным или на нём видны признаки таких заболеваний, как пневмония или COVID-19.

Вычисления изображений для автономного вождения#

Автономные транспортные средства используют вычисления изображений, чтобы понимать происходящее вокруг и принимать решения во время движения. Эта технология преобразует необработанные записи с камер в информацию реального времени, которая помогает автомобилю двигаться безопасно и плавно.

Компьютерное зрение широко применяется в усовершенствованных системах помощи водителю (ADAS). Вместо простой записи видео эти модули анализируют каждый кадр, выявляя дорожную разметку, другие автомобили, пешеходов и препятствия. Благодаря этому автомобиль может реагировать на изменение дорожной обстановки практически без участия человека.

Ещё один распространённый сценарий — объединение изображений с нескольких камер для создания кругового обзора пространства вокруг автомобиля. Вычисления изображений помогают исправлять искажения объектива, повышать чёткость изображения и выравнивать яркость и цвет на изображениях со всех камер. В результате получается чёткий и цельный обзор, позволяющий автомобилю безопасно ориентироваться даже в плохую погоду или при слабом освещении.

Рис. 4. Сшивка изображений с помощью глубокого обучения (Источник)

Преимущества и недостатки вычислений изображений#

Вот некоторые преимущества вычислений изображений:

• Масштабируемость: после обучения системы вычислений изображений могут непрерывно анализировать большие объёмы визуальных данных в промышленных масштабах.
• Принятие решений: Компьютерное зрение поддерживает критически важные по времени приложения, такие как автономное вождение, медицинский скрининг и промышленный мониторинг.
• Экономия средств в долгосрочной перспективе: первоначальная настройка может быть дорогой, но автоматизированный анализ изображений позволяет снизить долгосрочные операционные затраты.

Несмотря на многочисленные преимущества вычислений изображений, у них есть и ограничения. Вот несколько факторов, которые стоит учитывать:

• Качество данных: Методы обработки изображений во многом зависят от точной разметки и высококачественных наборов данных, создание которых может быть затратным и долгим.
• Чувствительность к условиям: изменения освещения, перекрытия объектов, размытие в движении, погода или угол съёмки могут негативно повлиять на качество работы модели.
• Ограниченная объяснимость: модели изображений на основе глубокого обучения могут работать как чёрные ящики, поэтому бывает сложно объяснить, как принимаются решения.

Главные выводы#

Обработка изображений прошла путь от базовой обработки до технологии, которая позволяет системам ИИ в реальном времени воспринимать и понимать окружающий мир. По мере развития глубокого обучения обработка изображений становится важной составляющей создания более интеллектуальных и практичных инструментов и приложений.

Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub, чтобы узнать об ИИ. Изучи страницы с нашими решениями и узнай о применении ИИ в сельском хозяйстве и компьютерного зрения в логистике. Ознакомься с нашими вариантами лицензирования и приступай к созданию моделей визуального ИИ.