Глубокий анализ обнаружения таблеток с помощью Ultralytics YOLO11

Искусственный интеллект используется практически во всех отраслях, но его влияние на здравоохранение, особенно в фармацевтике, особенно существенно. В этом году объем рынка AI in the pharmaceutical оценивается в 1,94 миллиарда долларов, а к 2034 году он вырастет до 16,49 миллиарда долларов.

Ключевым технологическим драйвером этого рынка является computer vision. В отличие от традиционной обработки изображений, компьютерное зрение — это подраздел ИИ, который позволяет машинам понимать и анализировать визуальные данные в реальном времени.

Fig 1. Обзор ИИ на фармацевтическом рынке.

В фармацевтической индустрии, где даже малейшая ошибка может привести к серьезным последствиям, ИИ в компьютерном зрении предлагает новые и надежные способы повышения безопасности и точности.

Например, Ultralytics YOLO11 — это модель компьютерного зрения, разработанная для задач в реальном времени, таких как обнаружение объектов и сегментация экземпляров, и ее можно использовать для таких приложений, как идентификация таблеток или обнаружение дефектов в медицинской упаковке.

В этой статье мы рассмотрим, как применить компьютерное зрение на практике, обучив Ultralytics YOLO11 обнаруживать таблетки. Мы также изучим реальные сценарии ее применения. Давай начнем!

Создание модели ИИ для обнаружения таблеток#

Прежде чем погружаться в то, как обучить Ultralytics YOLO11 распознавать таблетки, давай сделаем шаг назад и разберем, что значит обучить модель и какую роль играет датасет.

Обучение модели включает в себя обучение ее распознаванию паттернов путем демонстрации множества примеров. В данном случае набор данных — это коллекция изображений, где каждое изображение помечено, чтобы указать, где находятся таблетки. Этот процесс помогает модели учиться на этих примерах, чтобы позже она могла идентифицировать таблетки на новых изображениях.

Пакет Ultralytics Python package делает этот процесс еще проще, поддерживая широкий спектр наборов данных в оптимизированном формате файлов YOLO. Он предлагает простой доступ к popular datasets и обеспечивает поддержку таких приложений, как обнаружение таблеток.

Например, Medical Pills Dataset — это специализированная коллекция концепт-артов, созданная для демонстрации того, как object detection может улучшить фармацевтические рабочие процессы с помощью таких задач, как контроль качества, сортировка и обнаружение подделок.

Выбор среды разработки#

Еще один фактор, который стоит учесть, прежде чем ты сможешь начать обучение с помощью пакета Ultralytics Python, — это выбор правильной среды разработки. Вот три популярных варианта:

• Интерфейс командной строки (CLI): CLI или терминал — это простой текстовый инструмент, в котором ты можешь вводить команды для запуска кода и взаимодействия с компьютером.
• Jupyter Notebooks: Это более интерактивная среда, где ты можешь писать и запускать код небольшими фрагментами (ячейками), что упрощает тестирование и отладку в процессе.
• Google Colab: Облачный вариант, который работает как Jupyter Notebooks, но с дополнительным преимуществом бесплатного доступа к GPU, поэтому тебе не нужно беспокоиться о настройке чего-либо локально.

Ты можешь изучить другие варианты настройки в official Ultralytics documentation, но три упомянутых выше просты в настройке и использовании, что делает их отличным выбором для быстрого старта.

В этом руководстве мы сосредоточимся на том, как настроить и обучить Ultralytics YOLO11 с помощью Google Colab, Jupyter Notebooks или простого скрипта Python, поскольку процесс в этих средах довольно похож.

Кроме того, этот туториал во многом похож на тот, который мы разбирали ранее для обнаружения диких животных с помощью Ultralytics YOLO11. Если тебе интересны подробности какого-либо из шагов в этом уроке по коду, ты можешь ознакомиться с ним.

Исследование набора данных для обнаружения таблеток в реальном времени с помощью YOLO#

Набор данных Medical Pills Dataset включает 92 тренировочных изображения и 23 валидационных изображения, обеспечивая надежное разделение как для построения, так и для тестирования твоей модели. Тренировочные изображения используются для обучения модели, а валидационные помогают оценить, насколько хорошо модель работает на новых, ранее не виденных данных.

Каждое изображение в наборе данных помечено для одного класса, таблеток. Аннотации ограничивающих рамок четко обозначают местоположение каждой таблетки, что делает набор данных идеальным для специализированных задач, таких как обнаружение таблеток, без сложности работы с несколькими классами объектов.

Рис 2. Взгляд на набор данных Medical Pills Dataset.

Для поддержки обучения с помощью YOLO11 Ultralytics предоставляет YAML configuration file, который определяет ключевые параметры, такие как пути к файлам, имена классов и метаданные, необходимые для обучения модели. Независимо от того, настраиваешь ли ты предварительно обученную модель или начинаешь с нуля, этот файл значительно упрощает процесс и помогает быстро приступить к работе.

Обучение модели Ultralytics YOLO на наборе данных таблеток#

Для начала мы настроим среду для training и тестирования модели. Ты можешь использовать Google Colab, Jupyter Notebooks или простой файл Python по своему усмотрению. Просто создай новый блокнот или файл Python в выбранной среде.

Затем мы можем подготовить нашу среду и установить пакет Ultralytics Python с помощью команды, показанной ниже. Если ты используешь среду на основе блокнотов (Google Colab или Jupyter), выполни следующую команду с восклицательным знаком (!) в начале.

pip install ultralytics

После установки следующим шагом будет загрузка и обучение YOLO11 с использованием набора данных Medical Pills. Поскольку набор данных поддерживается пакетом Ultralytics Python, процесс прост.

Понимание процесса обучения модели#

Сначала мы можем импортировать класс YOLO из пакета Ultralytics. Затем мы можем загрузить предварительно обученную модель YOLO11 из файла “yolo11n.pt”, что рекомендуется, поскольку это нано-модель и она легкая.

Наконец, мы можем начать процесс обучения, указав модели путь к конфигурации нашего набора данных (medical-pills.yaml) и установив количество эпох обучения (один полный проход по всему набору данных) равным 100, как показано ниже.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
results = model.train(data="medical-pills.yaml", epochs=100)

Обучение в течение нескольких эпох позволяет модели учиться и улучшать свою производительность с каждым проходом. Ты сможешь найти журналы и контрольные точки, сохраненные в подпапке “runs/train/”, которые можно использовать для отслеживания прогресса и анализа производительности модели.

После завершения обучения специально обученная модель YOLO11 должна быть способна точно идентифицировать таблетки. Ты можешь найти веса финальной обученной модели в подпапке “runs/detect/train/weights/” под названием “best.pt”.

Оценка Ultralytics YOLO11 после обучения модели#

Чтобы оценить, насколько хорошо модель научилась обнаруживать таблетки, мы можем запустить валидацию следующим образом:

metrics = model.val()

Этот процесс возвращает общие метрики обнаружения объектов, которые дают представление о model's performance. Вот более подробный обзор некоторых из этих метрик:

• Точность (Precision): Она измеряет долю таблеток, обнаруженных моделью, которые являются правильными.
• Полнота (Recall): Она указывает долю фактических таблеток, которые модель успешно идентифицирует.
• Средняя точность (mAP): Эта метрика объединяет точность и полноту по различным порогам обнаружения, чтобы дать общую оценку производительности.

Вместе эти метрики предлагают всесторонний взгляд на то, насколько точно модель обнаруживает таблетки на новых, ранее не виденных данных.

Если твоя модель работает не так хорошо, как ожидалось, ты можешь попробовать обучить ее в течение большего количества эпох или настроить другие training parameters, такие как скорость обучения, которая контролирует размер шагов, предпринимаемых во время оптимизации модели, или размер изображения, чтобы еще больше улучшить ее производительность.

Запуск инференса с помощью твоей кастомно обученной модели Ultralytics YOLO11#

После того как модель Ultralytics YOLO11 обучена и оценена, следующим шагом будет проверка того, насколько хорошо она справляется с новыми, ранее невидимыми изображениями. Это помогает смоделировать реальные условия, такие как обнаружение таблеток при разном освещении, в различных расположениях или стилях упаковки.

Для тестирования модели мы скачали пример изображения с Pexels, бесплатного сайта стоковых изображений, и проанализировали его или выполнили предсказание с помощью обученной на заказ модели Ultralytics YOLO11, как показано в фрагменте кода ниже.

Ты можешь использовать это примерное изображение или любое другое подходящее изображение, чтобы оценить, насколько хорошо модель работает в реальных сценариях.

results = model.predict("path/to/image.jpg", save=True, conf=0.3)

Опция сохранения указывает модели сохранить выходное изображение, а настройка уверенности гарантирует, что в результаты включены только предсказания с уверенностью не менее 30 процентов.

Когда ты запустишь предсказание, вывод отобразит сообщение, указывающее, где находится сохраненное изображение - например, "Results saved to runs/detect/train."

Твое выходное изображение будет похоже на то, что показано здесь, с таблетками, обнаруженными и выделенными с помощью ограничивающих рамок. Отображаемые оценки уверенности указывают на уровень уверенности для каждого обнаружения.

Рис. 3. Обнаружение таблеток с помощью Ultralytics YOLO11.

Реальные применения Ultralytics YOLO11 в фармацевтике#

Теперь, когда мы изучили, как обучать Ultralytics YOLO11 на датасете Medical-Pills Dataset и запускать инференс на изображениях для детекции таблеток, давай посмотрим на реальные применения YOLO11 в фармацевтической отрасли.

Сортировка фармацевтических таблеток с помощью Ultralytics YOLO11#

Автоматическое обнаружение таблеток с помощью Ultralytics YOLO11 может применяться для сортировки в фармацевтике. Ручная сортировка часто бывает медленной, монотонной и подверженной ошибкам, которые могут поставить под угрозу безопасность и соответствие нормативным требованиям.

Используя дообученную модель Ultralytics YOLO11, мы можем точно обнаруживать и сортировать таблетки на основе визуальных характеристик, таких как размер, форма и цвет. Эта автоматизация ускоряет процесс и помогает гарантировать, что продукция соответствует строгим стандартам качества, что делает ее ценным инструментом в фармацевтических операциях.

Fig 4. Обнаружение таблеток с помощью YOLO11.

Мониторинг инвентаря с помощью Ultralytics YOLO11#

Своевременное пополнение запасов нужных медикаментов — это больше, чем просто логистическая задача: она может влиять на уход за пациентами и расходы. Нехватка критически важной таблетки может задержать лечение, в то время как затоваривание может привести к истечению срока годности лекарств и потере запасов. Учитывая огромное количество типов таблеток и вариаций упаковки в фармацевтической индустрии, автоматизированные системы инвентаризации могут обеспечить более точный учет.

Умные inventory systems могут использовать модели компьютерного зрения, такие как Ultralytics YOLO11, для мониторинга уровней запасов в реальном времени. Модель может сканировать полки и зоны упаковки с помощью изображений или видео для обнаружения и подсчета таблеток. По мере изменения уровней запасов, будь то добавление, удаление или перемещение товаров, система может автоматически обновлять количество.

Контроль качества в фармации на базе Ultralytics YOLO11#

В pharmaceutical production контроль качества имеет решающее значение для обеспечения безопасности и эффективности каждой таблетки. Даже незначительные дефекты, такие как трещина, неровная форма или небольшое изменение цвета, могут привести к ошибкам в дозировке или отзыву продукции.

Ultralytics YOLO11 может помочь, автоматически обнаруживая таблетки, которые не соответствуют стандартам качества. Модель способна изучать визуальные особенности и использовать ограничивающие рамки (bbox) для выявления таких проблем, как сколы, стертые оттиски или изменение цвета в режиме реального времени. Это позволяет вовремя удалять бракованные таблетки, сокращая отходы и гарантируя, что пациентам попадают только медикаменты проверенного качества.

Вдобавок к этому Ultralytics YOLO11 можно использовать для обнаружения и подсчета таблеток в процессе их проверки, что обеспечивает точное отслеживание при контроле качества.

Рис. 5. Ultralytics YOLO11 можно использовать для обнаружения и подсчета капсул.

Плюсы и минусы использования ИИ в компьютерном зрении для обнаружения таблеток#

Теперь, когда мы изучили, как ИИ в компьютерном зрении может применяться в фармацевтической индустрии, давай кратко рассмотрим некоторые из ключевых преимуществ использования компьютерного зрения в этом секторе:

• Предиктивное обслуживание: Ultralytics YOLO11 может применяться для обнаружения ранних признаков износа оборудования путем выявления несоответствий в таблетках или упаковке. Это помогает вовремя планировать ремонт и предотвращает непредвиденные простои производства.
• Масштабируемость использования модели: Модель можно дообучать на различных наборах данных для разных таблеток и видов упаковки. Это делает инспекцию масштабируемой и экономически эффективной по мере роста операций.
• Удаленный мониторинг: Это позволяет проводить проверки качества в реальном времени при интеграции с облачными системами и периферийными устройствами и идеально подходит для управления сельскими аптеками, автоматизированными пунктами и удаленными телефармацевтическими установками.

Хотя внедрение ИИ в компьютерном зрении в фармацевтической индустрии имеет много преимуществ, есть также некоторые соображения, которые следует учитывать при использовании таких технологий:

• Операционная интеграция: Интеграция систем ИИ в существующие рабочие процессы может потребовать корректировок, обучения и проверок совместимости с текущей инфраструктурой.
• Regulatory compliance: Автоматизированные системы должны соответствовать строгим нормативным стандартам для обеспечения безопасности пациентов и стабильного качества продукции.
• Управление ошибками: Даже продвинутые модели могут давать ложноположительные или ложноотрицательные результаты. Важно иметь процессы для обработки и исправления этих ошибок.

Путь вперед для фармацевтических рабочих процессов с ИИ#

В будущем ИИ, вероятно, сыграет более важную роль в том, чтобы сделать clinical trials быстрее, умнее и экономичнее. Он может помочь разработать лучшие протоколы испытаний, выбрать правильные группы пациентов и отслеживать данные в реальном времени.

Это может позволить исследователям реагировать на проблемы по мере их возникновения, а не постфактум. ИИ также может ускорить процесс одобрения за счет сокращения объема ручной бумажной работы и автоматизации рутинных проверок. В целом, интеграция ИИ в фармацевтические рабочие процессы может привести к сокращению задержек и ускорению доступа к новым методам лечения.

Основные выводы#

Обучение Ultralytics YOLO11 на наборе данных Medical Pills Dataset показывает, насколько быстро и эффективно модель может адаптироваться к фармацевтическим задачам. Даже при небольшом наборе данных она может точно обнаруживать таблетки, что делает ее полезной для таких вещей, как сортировка, контроль качества и отслеживание запасов.

По мере того как наборы данных растут, а модели совершенствуются, потенциал ИИ в компьютерном зрении в фармацевтике выходит за рамки просто логистики. Эта технология также могла бы поддерживать клинические исследования, помогая с последовательной идентификацией и отслеживанием таблеток, а также помогая исследователям безопасно тестировать новые комбинации лекарств.

Изучи наш GitHub repository, чтобы узнать больше и стать частью нашего растущего community. Открой для себя передовые инновации в различных секторах: от AI in agriculture до computer vision in healthcare. Ознакомься с нашими licensing options и запусти свои проекты визуального ИИ уже сегодня.