Подробный разбор обнаружения таблеток с помощью Ultralytics YOLO11

Искусственный интеллект применяется почти во всех отраслях, но особенно велико его влияние на здравоохранение, в частности на фармацевтику. В этом году объём рынка ИИ в фармацевтике оценивается в 1,94 миллиарда долларов, а к 2034 году, как ожидается, достигнет 16,49 миллиарда долларов.

Ключевой технологический фактор развития этого рынка — компьютерное зрение. В отличие от традиционной обработки изображений, компьютерное зрение — это подраздел ИИ, который позволяет машинам понимать и анализировать визуальные данные в реальном времени.

Рис. 1. Обзор ИИ на фармацевтическом рынке.

В фармацевтической отрасли, где даже малейшая ошибка может иметь серьёзные последствия, визуальный ИИ предлагает новые надёжные способы повысить безопасность и точность.

Например, Ultralytics YOLO11 — модель компьютерного зрения, предназначенная для задач реального времени, таких как обнаружение объектов и сегментация экземпляров. Её можно использовать, например, для распознавания таблеток или выявления дефектов медицинской упаковки.

В этой статье мы покажем, как применить визуальный ИИ на практике: обучим Ultralytics YOLO11 обнаруживать таблетки. Также рассмотрим реальные примеры его применения. Начнём!

Создание модели ИИ для обнаружения таблеток#

Прежде чем разбирать, как обучить Ultralytics YOLO11 обнаруживать таблетки, давай сначала поговорим о том, что значит обучить модель и какую роль играет набор данных.

Обучение модели заключается в том, чтобы научить её распознавать закономерности, показывая множество примеров. В данном случае набор данных — это коллекция изображений, на каждом из которых отмечено расположение таблеток. Благодаря этому модель учится на примерах и впоследствии может находить таблетки на новых изображениях.

Пакет Ultralytics для Python ещё больше упрощает этот процесс: он поддерживает широкий спектр наборов данных в удобном формате файлов YOLO. Он обеспечивает простой доступ к популярным наборам данных и подходит для таких задач, как обнаружение таблеток.

Например, Medical Pills Dataset — это специальная подборка для демонстрации возможностей обнаружения объектов в оптимизации рабочих процессов фармацевтических компаний, включая контроль качества, сортировку и выявление подделок.

Выбор среды разработки#

Перед началом обучения с помощью пакета Ultralytics для Python нужно также выбрать подходящую среду разработки. Вот три популярных варианта:

• Интерфейс командной строки (CLI): CLI, или терминал, — это простой текстовый инструмент, в котором можно вводить команды для запуска кода и взаимодействия с компьютером.
• Jupyter Notebooks: Это более интерактивная среда, в которой можно писать и запускать код небольшими фрагментами (ячейками), что упрощает тестирование и отладку по ходу работы.
• Google Colab: Облачная среда, работающая по принципу Jupyter Notebooks, но с дополнительным преимуществом — бесплатным доступом к GPU, поэтому не нужно настраивать локальное окружение.

Другие варианты настройки можно найти в официальной документации Ultralytics, но три описанных выше варианта легко настроить и использовать, поэтому они отлично подходят для быстрого старта.

В этом руководстве мы разберём, как настроить и обучить Ultralytics YOLO11 в Google Colab, Jupyter Notebooks или с помощью простого скрипта Python: процесс во всех этих средах почти одинаков.

Это руководство во многом похоже на нашу предыдущую статью об обнаружении диких животных с помощью Ultralytics YOLO11. Если тебе нужны подробности о каком-либо этапе этого урока по программированию, загляни в неё.

Изучение набора данных для обнаружения таблеток в реальном времени с помощью YOLO#

Medical Pills Dataset включает 92 обучающих изображения и 23 валидационных, что обеспечивает хорошее разделение данных для обучения и тестирования модели. Обучающие изображения используются для обучения модели, а валидационные помогают оценить её работу на новых данных, которые она раньше не видела.

На каждом изображении в наборе данных размечен один класс — таблетки. Аннотации ограничивающих рамок точно отмечают расположение каждой таблетки, поэтому набор идеально подходит для целевых задач, таких как обнаружение таблеток, и не требует обработки нескольких классов объектов.

Рис. 2. Пример изображений из Medical Pills Dataset.

Для обучения YOLO11 Ultralytics предоставляет файл конфигурации YAML, в котором задаются такие важные параметры, как пути к файлам, названия классов и метаданные, необходимые для обучения модели. Этот файл значительно упрощает процесс и помогает быстро приступить к работе — как при дообучении предварительно обученной модели, так и при обучении с нуля.

Обучи модель Ultralytics YOLO на наборе данных с таблетками#

Для начала настроим среду для обучения и тестирования модели. На выбор доступны Google Colab, Jupyter Notebooks или простой файл Python. Создай новый блокнот или файл Python в выбранной среде.

Затем настроим среду и установим пакет Ultralytics для Python с помощью команды ниже. Если ты работаешь в среде на основе блокнотов (Google Colab или Jupyter), добавь в начало команды восклицательный знак (!).

pip install ultralytics

После установки нужно скачать и обучить YOLO11 на наборе данных Medical Pills. Поскольку пакет Ultralytics для Python поддерживает этот набор данных, процесс будет простым.

Как проходит обучение модели#

Сначала импортируем класс YOLO из пакета Ultralytics. Затем загрузим предварительно обученную модель YOLO11 из файла «yolo11n.pt». Рекомендуется использовать именно эту модель: это компактная nano-модель.

Наконец, запустим обучение: укажем модели конфигурацию набора данных (medical-pills.yaml) и зададим 100 эпох обучения (один полный проход по всему набору данных), как показано ниже.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
results = model.train(data="medical-pills.yaml", epochs=100)

Обучение в течение нескольких эпох позволяет модели учиться и улучшать результаты с каждым проходом. Журналы и контрольные точки будут сохранены в подпапке «runs/train/» — по ним можно отслеживать ход обучения и оценивать качество модели.

После завершения обучения модель YOLO11, обученная на пользовательских данных, должна точно распознавать таблетки. Итоговые веса модели можно найти в подпапке «runs/detect/train/weights/» под именем «best.pt».

Оценка Ultralytics YOLO11 после обучения модели#

Чтобы оценить, насколько хорошо модель научилась обнаруживать таблетки, запустим валидацию:

metrics = model.val()

В результате будут рассчитаны стандартные метрики обнаружения объектов, которые позволяют оценить качество модели. Рассмотрим некоторые из этих метрик подробнее:

• Точность (Precision): Показывает, какая доля обнаруженных моделью таблеток действительно является таблетками.
• Полнота (Recall): Показывает, какую долю существующих таблеток модель успешно обнаруживает.
• Средняя точность (mAP): Эта метрика объединяет точность и полноту при разных порогах обнаружения и даёт общую оценку качества модели.

В совокупности эти метрики дают полное представление о том, насколько точно модель обнаруживает таблетки в новых данных, которые раньше не встречала.

Если модель работает не так хорошо, как ожидалось, попробуй обучить её дольше или настроить другие параметры обучения, например скорость обучения, которая определяет размер шагов при оптимизации модели, или размер изображений, чтобы повысить качество результатов.

Выполнение инференса с помощью модели Ultralytics YOLO11, обученной на пользовательских данных#

После обучения и оценки модели Ultralytics YOLO11 нужно проверить её работу на новых изображениях, которых она раньше не видела. Это поможет смоделировать реальные условия, например обнаружение таблеток при разном освещении, расположении или типе упаковки.

Для тестирования модели мы скачали пример изображения с Pexels — бесплатного сайта со стоковыми изображениями — и проанализировали его, то есть запустили предсказание с помощью модели Ultralytics YOLO11, обученной на пользовательских данных, как показано в приведённом ниже фрагменте кода.

Для оценки работы модели в реальных условиях можно использовать это изображение или любое другое подходящее изображение.

results = model.predict("path/to/image.jpg", save=True, conf=0.3)

Параметр сохранения указывает модели сохранить выходное изображение, а настройка уверенности гарантирует, что в результат попадут только предсказания с уверенностью не менее 30 процентов.

После запуска предсказания появится сообщение с путём к сохранённому изображению — например: «Results saved to runs/detect/train».

Выходное изображение будет похоже на приведённое здесь: обнаруженные таблетки выделены ограничивающими рамками. Отображаемые оценки уверенности показывают степень уверенности модели в каждом обнаружении.

Рис. 3. Обнаружение таблеток с помощью Ultralytics YOLO11.

Применение Ultralytics YOLO11 в фармацевтике на практике#

Теперь, когда мы разобрали, как обучить Ultralytics YOLO11 на наборе данных Medical Pills и запускать предсказания для обнаружения таблеток на изображениях, рассмотрим практическое применение YOLO11 в фармацевтической отрасли.

Сортировка фармацевтических таблеток с помощью Ultralytics YOLO11#

Автоматическое обнаружение таблеток с помощью Ultralytics YOLO11 можно использовать для сортировки лекарственных препаратов. Ручная сортировка часто занимает много времени, повторяется и подвержена ошибкам, которые могут поставить под угрозу безопасность лекарств и соблюдение нормативных требований.

С помощью дообученной модели Ultralytics YOLO11 можно точно обнаруживать и сортировать таблетки по визуальным характеристикам, таким как размер, форма и цвет. Автоматизация ускоряет процесс и помогает обеспечить соответствие продукции строгим стандартам качества, что делает её ценным инструментом для фармацевтических предприятий.

Рис. 4. Обнаружение таблеток с помощью YOLO11.

Мониторинг запасов с помощью Ultralytics YOLO11#

Своевременное пополнение запасов нужных лекарств — это не просто логистическая задача: от него зависят лечение пациентов и расходы. Нехватка жизненно важного препарата может задержать лечение, а избыточные запасы могут привести к истечению срока годности лекарств и потерям. В фармацевтической отрасли, где представлено множество видов таблеток и вариантов упаковки, автоматизированные системы учёта помогают вести более точные записи.

Интеллектуальные системы учёта запасов могут использовать модели компьютерного зрения, например Ultralytics YOLO11, для мониторинга запасов в реальном времени. Модель может анализировать изображения или видео с полок и зон упаковки, чтобы обнаруживать и считать таблетки. При изменении запасов — например, когда товары добавляют, убирают или перемещают — система может автоматически обновлять количество.

Контроль качества фармацевтической продукции с помощью Ultralytics YOLO11#

В фармацевтическом производстве контроль качества крайне важен: каждая таблетка должна быть безопасной и эффективной. Даже незначительные дефекты, такие как трещина, неровная форма или небольшое изменение цвета, могут привести к ошибкам дозировки или отзыву продукции.

Ultralytics YOLO11 помогает автоматически обнаруживать таблетки, не соответствующие стандартам качества. Модель учится распознавать визуальные признаки и использует ограничивающие рамки, чтобы в реальном времени отмечать такие дефекты, как сколы, выцветшие надписи или изменение цвета. Это позволяет своевременно отбраковывать дефектные таблетки, сокращать отходы и гарантировать, что до пациентов дойдут только лекарства, прошедшие контроль качества.

Кроме того, Ultralytics YOLO11 можно использовать для обнаружения и подсчёта таблеток во время проверки, чтобы точно отслеживать их количество при контроле качества.

Рис. 5. Ultralytics YOLO11 можно использовать для обнаружения и подсчёта капсул.

Плюсы и минусы применения визуального ИИ для обнаружения таблеток#

Мы рассмотрели применение визуального ИИ в фармацевтической отрасли. Теперь кратко перечислим основные преимущества использования компьютерного зрения в этой сфере:

• Прогнозное обслуживание: Ultralytics YOLO11 помогает выявлять ранние признаки износа оборудования, обнаруживая несоответствия в таблетках или упаковке. Это позволяет своевременно планировать ремонт и предотвращать незапланированные простои производства.
• Масштабируемое применение моделей: Модель можно дообучать на разных наборах данных для распознавания различных таблеток и видов упаковки. Это позволяет масштабировать проверку и снижать её стоимость по мере роста производства.
• Удалённый мониторинг: Интеграция с облачными системами и периферийными устройствами позволяет проверять качество в реальном времени. Это особенно полезно для управления сельскими аптечными пунктами, автоматизированными пунктами выдачи и удалёнными сервисами телемедицины в фармацевтике.

Несмотря на многочисленные преимущества внедрения визуального ИИ в фармацевтической отрасли, при использовании таких технологий нужно учитывать и некоторые факторы:

• Интеграция в рабочие процессы: Внедрение систем ИИ в существующие процессы может потребовать их адаптации, обучения персонала и проверки совместимости с текущей инфраструктурой.
• Соблюдение нормативных требований: автоматизированные системы должны соответствовать строгим нормативным стандартам, чтобы гарантировать безопасность пациентов и стабильное качество продукции.
• Обработка ошибок: Даже самые продвинутые модели могут давать ложноположительные и ложноотрицательные результаты. Важно предусмотреть процессы для выявления и исправления таких ошибок.

Перспективы ИИ в фармацевтических рабочих процессах#

В будущем ИИ, вероятно, будет играть более значительную роль, помогая проводить клинические исследования быстрее, эффективнее и с меньшими затратами. Он может помочь улучшить протоколы исследований, подобрать подходящие группы пациентов и отслеживать данные в реальном времени.

Это позволит исследователям реагировать на проблемы по мере их возникновения, а не постфактум. ИИ также может ускорить процесс одобрения, сократив объём бумажной работы и автоматизировав рутинные проверки. В целом интеграция ИИ в фармацевтические процессы может сократить задержки и ускорить доступ к новым методам лечения.

Главные выводы#

Обучение Ultralytics YOLO11 на Medical Pills Dataset показывает, насколько быстро и эффективно модель адаптируется к фармацевтическим задачам. Даже на небольшом наборе данных она может точно обнаруживать таблетки, что полезно для сортировки, контроля качества и отслеживания запасов.

По мере роста наборов данных и улучшения моделей возможности визуального ИИ в фармацевтике будут выходить за рамки логистики. Эта технология также может помочь в клинических исследованиях: обеспечить единообразное распознавание и отслеживание таблеток, а также содействовать безопасному тестированию новых комбинаций препаратов.

Загляни в наш репозиторий GitHub, чтобы узнать больше и присоединиться к нашему растущему сообществу. Познакомься с передовыми инновациями в разных сферах — от ИИ в сельском хозяйстве до компьютерного зрения в здравоохранении. Изучи варианты лицензирования и запускай свои проекты в области визуального ИИ уже сегодня.