Глубокий анализ обнаружения таблеток с помощью Ultralytics YOLO11

Искусственный интеллект используется практически во всех отраслях, но его влияние на здравоохранение, особенно в фармацевтике, особенно существенно. В этом году объем рынка AI в фармацевтике оценивается в 1,94 миллиарда долларов, и ожидается, что к 2034 году он вырастет до 16,49 миллиарда долларов.

Ключевым технологическим двигателем этого рынка является компьютерное зрение. В отличие от традиционной обработки изображений, компьютерное зрение — это подполе ИИ, которое позволяет машинам понимать и анализировать визуальные данные в режиме реального времени.

Рис 1. Обзор ИИ на фармацевтическом рынке.

В фармацевтической индустрии, где даже малейшая ошибка может привести к серьезным последствиям, ИИ в компьютерном зрении предлагает новые и надежные способы повышения безопасности и точности.

Например, Ultralytics YOLO11 — это модель компьютерного зрения, предназначенная для задач в реальном времени, таких как обнаружение объектов и сегментация экземпляров, и ее можно использовать для таких приложений, как идентификация таблеток или обнаружение дефектов в медицинской упаковке.

В этой статье мы покажем, как освоить ИИ в компьютерном зрении, обучив YOLO11 распознавать таблетки. Мы также изучим ее практические применения. Давай начнем!

Link to this sectionСоздание модели ИИ для обнаружения таблеток#

Прежде чем мы перейдем к тому, как обучить YOLO11 распознавать таблетки, давай сделаем шаг назад и разберемся, что значит обучить модель и какова роль набора данных.

Обучение модели включает в себя обучение ее распознаванию паттернов путем демонстрации множества примеров. В данном случае набор данных — это коллекция изображений, где каждое изображение помечено, чтобы указать, где находятся таблетки. Этот процесс помогает модели учиться на этих примерах, чтобы позже она могла идентифицировать таблетки на новых изображениях.

Пакет Ultralytics Python package делает этот процесс еще проще, поддерживая широкий спектр наборов данных в оптимизированном формате файлов YOLO. Они предлагают простой доступ к популярным наборам данных и обеспечивают поддержку таких приложений, как обнаружение таблеток.

Например, набор данных Medical Pills Dataset — это специализированная коллекция для подтверждения концепции, разработанная для демонстрации того, как обнаружение объектов может улучшить фармацевтические рабочие процессы за счет таких задач, как контроль качества, сортировка и выявление подделок.

Link to this sectionВыбор среды разработки#

Еще один фактор, который стоит учесть, прежде чем ты сможешь начать обучение с помощью пакета Ultralytics Python, — это выбор правильной среды разработки. Вот три популярных варианта:

• Интерфейс командной строки (CLI): CLI или терминал — это простой текстовый инструмент, в котором ты можешь вводить команды для запуска кода и взаимодействия с компьютером.
• Jupyter Notebooks: Это более интерактивная среда, где ты можешь писать и запускать код небольшими фрагментами (ячейками), что упрощает тестирование и отладку в процессе.
• Google Colab: Облачный вариант, который работает как Jupyter Notebooks, но с дополнительным преимуществом бесплатного доступа к GPU, поэтому тебе не нужно беспокоиться о настройке чего-либо локально.

Существуют и другие варианты настройки, которые ты можешь изучить в официальной документации Ultralytics, но три упомянутых выше просты в настройке и использовании, что делает их отличным выбором для быстрого старта.

В этом руководстве мы сосредоточимся на том, как настроить и обучить YOLO11 с помощью Google Colab, Jupyter Notebooks или базового скрипта Python, так как процесс очень похож в каждой из этих сред.

Кроме того, этот урок довольно похож на тот, который мы ранее рассматривали по обнаружению дикой природы с помощью YOLO11. Если тебе нужны дополнительные подробности о любом из шагов этого руководства по программированию, ты можешь ознакомиться с ним.

Link to this sectionИсследование набора данных для обнаружения таблеток в реальном времени с помощью YOLO#

Набор данных Medical Pills Dataset включает 92 тренировочных изображения и 23 валидационных изображения, обеспечивая надежное разделение как для построения, так и для тестирования твоей модели. Тренировочные изображения используются для обучения модели, а валидационные помогают оценить, насколько хорошо модель работает на новых, ранее не виденных данных.

Каждое изображение в наборе данных помечено для одного класса, таблеток. Аннотации ограничивающих рамок четко обозначают местоположение каждой таблетки, что делает набор данных идеальным для специализированных задач, таких как обнаружение таблеток, без сложности работы с несколькими классами объектов.

Рис 2. Взгляд на набор данных Medical Pills Dataset.

Для поддержки обучения с помощью YOLO11 Ultralytics предоставляет YAML файл конфигурации, который определяет ключевые параметры, такие как пути к файлам, названия классов и метаданные, необходимые для обучения модели. Независимо от того, дообучаешь ли ты предварительно обученную модель или начинаешь с нуля, этот файл значительно упрощает процесс и помогает тебе быстро начать.

Link to this sectionОбучение модели Ultralytics YOLO на наборе данных таблеток#

Для начала мы подготовим среду для обучения и тестирования модели. Ты можешь выбрать Google Colab, Jupyter Notebooks или простой файл Python в зависимости от своих предпочтений. Просто создай новый блокнот или файл Python в выбранной тобой среде.

Затем мы можем подготовить нашу среду и установить пакет Ultralytics Python с помощью команды, показанной ниже. Если ты используешь среду на основе блокнотов (Google Colab или Jupyter), выполни следующую команду с восклицательным знаком (!) в начале.

pip install ultralytics

После установки следующим шагом будет загрузка и обучение YOLO11 с использованием набора данных Medical Pills. Поскольку набор данных поддерживается пакетом Ultralytics Python, процесс прост.

Link to this sectionПонимание процесса обучения модели#

Сначала мы можем импортировать класс YOLO из пакета Ultralytics. Затем мы можем загрузить предварительно обученную модель YOLO11 из файла “yolo11n.pt”, что рекомендуется, поскольку это нано-модель и она легкая.

Наконец, мы можем начать процесс обучения, указав модели путь к конфигурации нашего набора данных (medical-pills.yaml) и установив количество эпох обучения (один полный проход по всему набору данных) равным 100, как показано ниже.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
results = model.train(data="medical-pills.yaml", epochs=100)

Обучение в течение нескольких эпох позволяет модели учиться и улучшать свою производительность с каждым проходом. Ты сможешь найти журналы и контрольные точки, сохраненные в подпапке “runs/train/”, которые можно использовать для отслеживания прогресса и анализа производительности модели.

После завершения обучения специально обученная модель YOLO11 должна быть способна точно идентифицировать таблетки. Ты можешь найти веса финальной обученной модели в подпапке “runs/detect/train/weights/” под названием “best.pt”.

Link to this sectionОценка YOLO11 после обучения модели#

Чтобы оценить, насколько хорошо модель научилась обнаруживать таблетки, мы можем запустить валидацию следующим образом:

metrics = model.val()

Этот процесс возвращает общие метрики обнаружения объектов, которые дают представление о производительности модели. Вот более подробный взгляд на некоторые из этих метрик:

• Точность (Precision): Она измеряет долю таблеток, обнаруженных моделью, которые являются правильными.
• Полнота (Recall): Она указывает долю фактических таблеток, которые модель успешно идентифицирует.
• Средняя точность (mAP): Эта метрика объединяет точность и полноту по различным порогам обнаружения, чтобы дать общую оценку производительности.

Вместе эти метрики предлагают всесторонний взгляд на то, насколько точно модель обнаруживает таблетки на новых, ранее не виденных данных.

Если твоя модель работает не так хорошо, как ожидалось, ты можешь попробовать обучить ее в течение большего количества эпох или настроить другие параметры обучения, такие как скорость обучения, которая контролирует размер шагов, предпринимаемых во время оптимизации модели, или размер изображения, чтобы еще больше улучшить ее производительность.

Link to this sectionЗапуск инференса с помощью обученной на заказ модели YOLO11#

Как только модель YOLO11 обучена и оценена, следующим шагом будет тестирование того, насколько хорошо она работает на новых, ранее не виденных изображениях. Это помогает имитировать реальные условия, такие как обнаружение таблеток при различном освещении, расположении или стилях упаковки.

Чтобы протестировать модель, мы скачали пример изображения с Pexels, бесплатного сайта с фотографиями, и проанализировали изображение или выполнили предсказание с помощью специально обученной модели YOLO11, как показано в фрагменте кода ниже.

Ты можешь использовать это примерное изображение или любое другое подходящее изображение, чтобы оценить, насколько хорошо модель работает в реальных сценариях.

results = model.predict("path/to/image.jpg", save=True, conf=0.3)

Опция сохранения указывает модели сохранить выходное изображение, а настройка уверенности гарантирует, что в результаты включены только предсказания с уверенностью не менее 30 процентов.

Когда ты запустишь предсказание, вывод отобразит сообщение, указывающее, где находится сохраненное изображение - например, "Results saved to runs/detect/train."

Твое выходное изображение будет похоже на то, что показано здесь, с таблетками, обнаруженными и выделенными с помощью ограничивающих рамок. Отображаемые оценки уверенности указывают на уровень уверенности для каждого обнаружения.

Рис 3. Обнаружение таблеток с помощью YOLO11.

Link to this sectionРеальные приложения использования YOLO11 в фармацевтике#

Теперь, когда мы изучили, как обучить YOLO11 с использованием набора данных Medical-Pills и выполнять выводы на изображениях для обнаружения таблеток, давай взглянем на реальные приложения YOLO11 в фармацевтической индустрии.

Link to this sectionСортировка фармацевтических таблеток с помощью YOLO11#

Автоматизированное обнаружение таблеток с помощью YOLO11 можно применять для фармацевтической сортировки. Ручная сортировка часто медленная, повторяющаяся и подвержена ошибкам, которые могут поставить под угрозу безопасность лекарств и соответствие требованиям.

Используя дообученную модель YOLO11, мы можем точно обнаруживать и сортировать таблетки на основе визуальных характеристик, таких как размер, форма и цвет. Эта автоматизация ускоряет процесс и помогает гарантировать, что продукты соответствуют строгим стандартам качества, что делает ее ценным инструментом в фармацевтических операциях.

Рис 4. Обнаружение таблеток с помощью YOLO11.

Link to this sectionМониторинг запасов с помощью YOLO11#

Своевременное пополнение запасов нужных медикаментов — это больше, чем просто логистическая задача: она может влиять на уход за пациентами и расходы. Нехватка критически важной таблетки может задержать лечение, в то время как затоваривание может привести к истечению срока годности лекарств и потере запасов. Учитывая огромное количество типов таблеток и вариаций упаковки в фармацевтической индустрии, автоматизированные системы инвентаризации могут обеспечить более точный учет.

Умные системы инвентаризации могут использовать модели компьютерного зрения, такие как Ultralytics YOLO11, для мониторинга уровней запасов в режиме реального времени. Модель может сканировать полки и зоны упаковки с использованием изображений или видео для обнаружения и подсчета таблеток. По мере изменения уровней запасов, независимо от того, добавляются ли товары, удаляются или перемещаются, система может автоматически обновлять количество.

Link to this sectionКонтроль качества в фармацевтике на основе YOLO11#

В фармацевтическом производстве контроль качества крайне важен для обеспечения того, чтобы каждая таблетка была безопасной и эффективной. Даже незначительные дефекты, такие как трещина, неравномерная форма или небольшое отклонение в цвете, могут привести к ошибкам в дозировке или отзыву продукта.

YOLO11 может помочь, автоматически обнаруживая таблетки, которые не соответствуют стандартам качества. Модель может изучить визуальные признаки и использовать ограничивающие рамки для выявления проблем, таких как сколы, стертые оттиски или обесцвечивание в режиме реального времени. Это позволяет своевременно удалять бракованные таблетки, сокращая количество отходов и гарантируя, что до пациентов доходят только медикаменты с гарантированным качеством.

Кроме того, YOLO11 можно использовать для обнаружения и подсчета таблеток по мере их проверки, для точного отслеживания при контроле качества.

Рис 5. YOLO11 можно использовать для обнаружения и подсчета капсул.

Link to this sectionПлюсы и минусы использования ИИ в компьютерном зрении для обнаружения таблеток#

Теперь, когда мы изучили, как ИИ в компьютерном зрении может применяться в фармацевтической индустрии, давай кратко рассмотрим некоторые из ключевых преимуществ использования компьютерного зрения в этом секторе:

• Предиктивное обслуживание: YOLO11 можно использовать для обнаружения ранних признаков износа оборудования путем выявления несоответствий таблеток или упаковки. Это помогает планировать своевременный ремонт и предотвращает незапланированные простои производства.
• Масштабируемость использования модели: Модель можно дообучать на различных наборах данных для разных таблеток и видов упаковки. Это делает инспекцию масштабируемой и экономически эффективной по мере роста операций.
• Удаленный мониторинг: Это позволяет проводить проверки качества в реальном времени при интеграции с облачными системами и периферийными устройствами и идеально подходит для управления сельскими аптеками, автоматизированными пунктами и удаленными телефармацевтическими установками.

Хотя внедрение ИИ в компьютерном зрении в фармацевтической индустрии имеет много преимуществ, есть также некоторые соображения, которые следует учитывать при использовании таких технологий:

• Операционная интеграция: Интеграция систем ИИ в существующие рабочие процессы может потребовать корректировок, обучения и проверок совместимости с текущей инфраструктурой.
• Регуляторное соответствие: Автоматизированные системы должны придерживаться строгих регуляторных стандартов для обеспечения безопасности пациентов и стабильного качества продукции.
• Управление ошибками: Даже продвинутые модели могут давать ложноположительные или ложноотрицательные результаты. Важно иметь процессы для обработки и исправления этих ошибок.

Link to this sectionПуть вперед для фармацевтических рабочих процессов с ИИ#

В будущем ИИ, вероятно, будет играть большую роль в том, чтобы сделать клинические исследования быстрее, умнее и экономичнее. Он может помочь разработать лучшие протоколы испытаний, подобрать правильные группы пациентов и отслеживать данные в режиме реального времени.

Это может позволить исследователям реагировать на проблемы по мере их возникновения, а не постфактум. ИИ также может ускорить процесс одобрения за счет сокращения объема ручной бумажной работы и автоматизации рутинных проверок. В целом, интеграция ИИ в фармацевтические рабочие процессы может привести к сокращению задержек и ускорению доступа к новым методам лечения.

Link to this sectionОсновные выводы#

Обучение Ultralytics YOLO11 на наборе данных Medical Pills Dataset показывает, насколько быстро и эффективно модель может адаптироваться к фармацевтическим задачам. Даже при небольшом наборе данных она может точно обнаруживать таблетки, что делает ее полезной для таких вещей, как сортировка, контроль качества и отслеживание запасов.

По мере того как наборы данных растут, а модели совершенствуются, потенциал ИИ в компьютерном зрении в фармацевтике выходит за рамки просто логистики. Эта технология также могла бы поддерживать клинические исследования, помогая с последовательной идентификацией и отслеживанием таблеток, а также помогая исследователям безопасно тестировать новые комбинации лекарств.

Изучи наш репозиторий GitHub, чтобы узнать больше и стать частью нашего растущего сообщества. Открывай для себя передовые инновации в различных секторах, от ИИ в сельском хозяйстве до компьютерного зрения в здравоохранении. Ознакомься с нашими вариантами лицензирования и запусти свои проекты с ИИ в области зрения уже сегодня.