Подробный разбор обнаружения таблеток с помощью Ultralytics YOLO11

Искусственный интеллект применяется почти во всех отраслях, но особенно велико его влияние на здравоохранение, в частности на фармацевтику. В этом году объём рынка ИИ в фармацевтике оценивается в 1,94 миллиарда долларов, а к 2034 году, как ожидается, достигнет 16,49 миллиарда долларов.

Ключевой технологический фактор развития этого рынка — компьютерное зрение. В отличие от традиционной обработки изображений, компьютерное зрение — это подраздел ИИ, который позволяет машинам понимать и анализировать визуальные данные в реальном времени.

Рис. 1. Обзор ИИ на фармацевтическом рынке.

В фармацевтической отрасли, где даже малейшая ошибка может иметь серьёзные последствия, визуальный ИИ предлагает новые надёжные способы повысить безопасность и точность.

Например, Ultralytics YOLO11 — модель компьютерного зрения, предназначенная для задач реального времени, таких как обнаружение объектов и сегментация экземпляров. Её можно использовать, например, для распознавания таблеток или выявления дефектов медицинской упаковки.

В этой статье мы покажем, как на практике применить ИИ для компьютерного зрения: обучим Ultralytics YOLO11 обнаруживать таблетки и рассмотрим реальные сценарии применения этой модели.

Создание модели ИИ для обнаружения таблеток#

Прежде чем разбирать, как обучить Ultralytics YOLO11 обнаруживать таблетки, давай сначала поговорим о том, что значит обучить модель и какую роль играет набор данных.

Обучение модели заключается в том, чтобы научить её распознавать закономерности, показывая множество примеров. В данном случае набор данных — это коллекция изображений, на каждом из которых отмечено расположение таблеток. Благодаря этому модель учится на примерах и впоследствии может находить таблетки на новых изображениях.

Пакет Ultralytics для Python ещё больше упрощает этот процесс, поддерживая множество датасетов в унифицированном формате файлов YOLO. Он обеспечивает удобный доступ к популярным датасетам и поддерживает такие приложения, как обнаружение таблеток.

Например, Medical Pills Dataset — это специальная подборка для демонстрации возможностей обнаружения объектов в оптимизации рабочих процессов фармацевтических компаний, включая контроль качества, сортировку и выявление подделок.

Выбор среды разработки#

Перед началом обучения с помощью пакета Ultralytics для Python нужно также выбрать подходящую среду разработки. Вот три популярных варианта:

• Интерфейс командной строки (CLI): CLI, или терминал, — это простой текстовый инструмент, в котором можно вводить команды для запуска кода и взаимодействия с компьютером.
• Jupyter Notebooks: Это более интерактивная среда, в которой можно писать и запускать код небольшими фрагментами (ячейками), что упрощает тестирование и отладку по ходу работы.
• Google Colab: Облачная среда, работающая по принципу Jupyter Notebooks, но с дополнительным преимуществом — бесплатным доступом к GPU, поэтому не нужно настраивать локальное окружение.

Другие варианты настройки можно найти в официальной документации Ultralytics, но три описанных выше варианта легко настроить и использовать, поэтому они отлично подходят для быстрого старта.

В этом руководстве мы разберём, как настроить и обучить Ultralytics YOLO11 в Google Colab, Jupyter Notebooks или с помощью простого скрипта Python: процесс во всех этих средах почти одинаков.

Это руководство также во многом похоже на ранее опубликованное руководство по обнаружению диких животных с помощью Ultralytics YOLO11. Если тебе нужны подробности о каком-либо шаге этого учебного руководства по программированию, загляни туда.

Изучение набора данных для обнаружения таблеток в реальном времени с помощью YOLO#

Medical Pills Dataset включает 92 обучающих изображения и 23 валидационных, что обеспечивает хорошее разделение данных для обучения и тестирования модели. Обучающие изображения используются для обучения модели, а валидационные помогают оценить её работу на новых данных, которые она раньше не видела.

На каждом изображении в наборе данных размечен один класс — таблетки. Аннотации ограничивающих рамок точно отмечают расположение каждой таблетки, поэтому набор идеально подходит для целевых задач, таких как обнаружение таблеток, и не требует обработки нескольких классов объектов.

Рис. 2. Пример изображений из Medical Pills Dataset.

Для обучения YOLO11 Ultralytics предоставляет файл конфигурации YAML, в котором задаются такие важные параметры, как пути к файлам, названия классов и метаданные, необходимые для обучения модели. Этот файл значительно упрощает процесс и помогает быстро приступить к работе — как при дообучении предварительно обученной модели, так и при обучении с нуля.

Обучи модель Ultralytics YOLO на наборе данных с таблетками#

Для начала настроим среду для обучения и тестирования модели. На выбор доступны Google Colab, Jupyter Notebooks или простой файл Python. Создай новый блокнот или файл Python в выбранной среде.

Затем настроим среду и установим пакет Ultralytics для Python с помощью команды ниже. Если ты работаешь в среде на основе блокнотов (Google Colab или Jupyter), добавь в начало команды восклицательный знак (!).

pip install ultralytics

После установки следующий шаг — скачать датасет Medical Pills и обучить YOLO11. Поскольку пакет Ultralytics для Python поддерживает этот датасет, процесс будет простым.

Как проходит обучение модели#

Сначала импортируем класс YOLO из пакета Ultralytics. Затем загрузим предварительно обученную модель YOLO11n из файла «yolo11n.pt». Мы рекомендуем её, потому что это лёгкая модель nano.

Наконец, запустим обучение: укажем модели конфигурацию набора данных (medical-pills.yaml) и зададим 100 эпох обучения (один полный проход по всему набору данных), как показано ниже.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
results = model.train(data="medical-pills.yaml", epochs=100)

Обучение в течение нескольких эпох позволяет модели учиться и улучшать производительность с каждым проходом. Журналы и контрольные точки сохраняются в подкаталоге «runs/detect/train/»; с их помощью можно отслеживать ход обучения и оценивать производительность модели.

После завершения обучения модель YOLO11, обученная на пользовательских данных, должна точно распознавать таблетки. Итоговые веса модели можно найти в подпапке «runs/detect/train/weights/» под именем «best.pt».

Оценка Ultralytics YOLO11 после обучения модели#

Чтобы оценить, насколько хорошо модель научилась обнаруживать таблетки, запустим валидацию:

metrics = model.val()

В результате вычисляются стандартные метрики обнаружения объектов, по которым можно оценить производительность модели. Рассмотрим некоторые из этих метрик подробнее:

• Точность (Precision): Показывает, какая доля обнаруженных моделью таблеток действительно является таблетками.
• Полнота (Recall): Показывает, какую долю существующих таблеток модель успешно обнаруживает.
• Средняя точность (mAP): Эта метрика объединяет точность и полноту при разных порогах обнаружения и даёт общую оценку качества модели.

В совокупности эти метрики дают полное представление о том, насколько точно модель обнаруживает таблетки в новых данных, которые раньше не встречала.

Если модель работает не так хорошо, как ожидалось, попробуй обучить её дольше или настроить другие параметры обучения, например скорость обучения, которая определяет размер шагов при оптимизации модели, или размер изображений, чтобы повысить качество результатов.

Выполнение инференса с помощью модели Ultralytics YOLO11, обученной на пользовательских данных#

После обучения и оценки модели Ultralytics YOLO11 нужно проверить её работу на новых изображениях, которых она раньше не видела. Это поможет смоделировать реальные условия, например обнаружение таблеток при разном освещении, расположении или типе упаковки.

Для тестирования модели мы скачали пример изображения с Pexels, бесплатного сайта со стоковыми изображениями, и выполнили на нём предсказание с помощью Ultralytics YOLO11, обученной на собственных данных, как показано в приведённом ниже фрагменте кода.

Для оценки работы модели в реальных условиях можно использовать это изображение или любое другое подходящее изображение.

results = model.predict("path/to/image.jpg", save=True, conf=0.3)

Параметр сохранения указывает модели сохранить выходное изображение, а настройка уверенности гарантирует, что в результат попадут только предсказания с уверенностью не менее 30 процентов.

При запуске предсказания появится сообщение с указанием пути к сохранённому изображению — например, «Results saved to runs/detect/predict».

Выходное изображение будет похоже на приведённое здесь: обнаруженные таблетки выделены ограничивающими рамками. Отображаемые оценки уверенности показывают степень уверенности модели в каждом обнаружении.

Рис. 3. Обнаружение таблеток с помощью Ultralytics YOLO11.

Применение Ultralytics YOLO11 в фармацевтике на практике#

Теперь, когда мы разобрали, как обучить Ultralytics YOLO11 на наборе данных Medical Pills и запускать предсказания для обнаружения таблеток на изображениях, рассмотрим практическое применение YOLO11 в фармацевтической отрасли.

Сортировка фармацевтических таблеток с помощью Ultralytics YOLO11#

Автоматическое обнаружение таблеток с помощью Ultralytics YOLO11 можно использовать для сортировки лекарственных препаратов. Ручная сортировка часто занимает много времени, повторяется и подвержена ошибкам, которые могут поставить под угрозу безопасность лекарств и соблюдение нормативных требований.

С помощью дообученной модели Ultralytics YOLO11 можно точно обнаруживать и сортировать таблетки по визуальным характеристикам, таким как размер, форма и цвет. Автоматизация ускоряет процесс и помогает обеспечить соответствие продукции строгим стандартам качества, что делает её ценным инструментом для фармацевтических предприятий.

Рис. 4. Обнаружение таблеток с помощью YOLO11.

Мониторинг запасов с помощью Ultralytics YOLO11#

Своевременное пополнение запасов нужных лекарств — это не просто логистическая задача: от него зависят лечение пациентов и расходы. Нехватка жизненно важного препарата может задержать лечение, а избыточные запасы могут привести к истечению срока годности лекарств и потерям. В фармацевтической отрасли, где представлено множество видов таблеток и вариантов упаковки, автоматизированные системы учёта помогают вести более точные записи.

Интеллектуальные системы учёта запасов могут использовать модели компьютерного зрения, например Ultralytics YOLO11, для мониторинга запасов в реальном времени. Модель может анализировать изображения или видео с полок и зон упаковки, чтобы обнаруживать и считать таблетки. При изменении запасов — например, когда товары добавляют, убирают или перемещают — система может автоматически обновлять количество.

Контроль качества фармацевтической продукции с помощью Ultralytics YOLO11#

В фармацевтическом производстве контроль качества крайне важен: каждая таблетка должна быть безопасной и эффективной. Даже незначительные дефекты, такие как трещина, неровная форма или небольшое изменение цвета, могут привести к ошибкам дозировки или отзыву продукции.

Ultralytics YOLO11 может автоматически обнаруживать таблетки, не соответствующие стандартам качества. Модель обучается распознавать визуальные признаки и в реальном времени отмечает ограничивающими рамками такие дефекты, как сколы, выцветшие надписи или изменение цвета. Это позволяет своевременно удалять бракованные таблетки, сокращать отходы и гарантировать, что пациенты получат только качественные лекарства.

Кроме того, Ultralytics YOLO11 можно использовать для обнаружения и подсчёта таблеток во время проверки, чтобы точно отслеживать их количество при контроле качества.

Рис. 5. Ultralytics YOLO11 можно использовать для обнаружения и подсчёта капсул.

Плюсы и минусы применения визуального ИИ для обнаружения таблеток#

Теперь, когда мы рассмотрели применение ИИ для компьютерного зрения в фармацевтической отрасли, давай кратко разберём основные преимущества компьютерного зрения в этой сфере:

• Прогнозное обслуживание: Ultralytics YOLO11 помогает выявлять ранние признаки износа оборудования, обнаруживая несоответствия в таблетках или упаковке. Это позволяет своевременно планировать ремонт и предотвращать незапланированные простои производства.
• Масштабируемое применение моделей: Модель можно дообучать на разных наборах данных для распознавания различных таблеток и видов упаковки. Это позволяет масштабировать проверку и снижать её стоимость по мере роста производства.
• Удалённый мониторинг: Интеграция с облачными системами и периферийными устройствами позволяет проверять качество в реальном времени. Это особенно полезно для управления сельскими аптечными пунктами, автоматизированными пунктами выдачи и удалёнными сервисами телемедицины в фармацевтике.

Несмотря на многочисленные преимущества внедрения визуального ИИ в фармацевтической отрасли, при использовании таких технологий нужно учитывать и некоторые факторы:

• Интеграция в рабочие процессы: Внедрение систем ИИ в существующие процессы может потребовать их адаптации, обучения персонала и проверки совместимости с текущей инфраструктурой.
• Соответствие нормативным требованиям: автоматизированные системы должны соответствовать строгим нормативным требованиям, чтобы гарантировать безопасность пациентов и стабильное качество продукции.
• Обработка ошибок: Даже самые продвинутые модели могут давать ложноположительные и ложноотрицательные результаты. Важно предусмотреть процессы для выявления и исправления таких ошибок.

Перспективы ИИ в фармацевтических рабочих процессах#

В будущем ИИ, вероятно, будет играть более значительную роль, помогая проводить клинические исследования быстрее, эффективнее и с меньшими затратами. Он может помочь улучшить протоколы исследований, подобрать подходящие группы пациентов и отслеживать данные в реальном времени.

Это позволит исследователям реагировать на проблемы по мере их возникновения, а не постфактум. ИИ также может ускорить процесс одобрения, сократив объём бумажной работы и автоматизировав рутинные проверки. В целом интеграция ИИ в фармацевтические процессы может сократить задержки и ускорить доступ к новым методам лечения.

Главные выводы#

Обучение Ultralytics YOLO11 на Medical Pills Dataset показывает, насколько быстро и эффективно модель адаптируется к фармацевтическим задачам. Даже на небольшом наборе данных она может точно обнаруживать таблетки, что полезно для сортировки, контроля качества и отслеживания запасов.

По мере роста наборов данных и улучшения моделей возможности визуального ИИ в фармацевтике будут выходить за рамки логистики. Эта технология также может помочь в клинических исследованиях: обеспечить единообразное распознавание и отслеживание таблеток, а также содействовать безопасному тестированию новых комбинаций препаратов.

Изучи репозиторий на GitHub, чтобы узнать больше и присоединиться к нашему растущему сообществу. Открой для себя инновации в разных отраслях — от ИИ в сельском хозяйстве до компьютерного зрения в здравоохранении. Ознакомься с вариантами лицензирования и запускай свои проекты в области ИИ для компьютерного зрения уже сегодня.