Создай систему ANPR с помощью Ultralytics YOLO11 и GPT-4o Mini

Поиск парковки на переполненной стоянке, ожидание в длинных очередях на пунктах оплаты или задержки на контрольно-пропускных пунктах вызывают разочарование. Ручная проверка транспортных средств часто занимает слишком много времени и приводит к задержкам. Без автоматизированной системы эффективно отслеживать автомобили бывает непросто.

Компьютерное зрение изменило это, позволив распознавать номерные знаки в реальном времени на изображениях и в видеопотоках. Например, Ultralytics YOLO11 — это передовая модель компьютерного зрения, способная выполнять сложные задачи AI, такие как обнаружение, классификация и отслеживание объектов. Используя возможности обнаружения объектов YOLO11, ты можешь точно находить номерные знаки автомобилей на изображениях.

Ultralytics предлагает подробные блокноты Google Colab, которые упрощают процесс создания решений на базе vision AI. Эти блокноты уже настроены с необходимыми зависимостями, моделями и пошаговыми руководствами, что упрощает разработку приложений. В частности, есть отдельный блокнот Colab для ANPR (автоматического распознавания номерных знаков).

В этой статье, используя блокнот Ultralytics Colab для ANPR, мы разберем, как построить решение ANPR с помощью Ultralytics YOLO11 для обнаружения номерных знаков и GPT-4o Mini для распознавания текста.

Link to this sectionЧто такое ANPR#

Ручное отслеживание автомобилей отнимает много времени и подвержено ошибкам, особенно когда они движутся быстро. Проверка каждого номерного знака по отдельности замедляет процесс и увеличивает риск ошибок. Автоматическое распознавание номерных знаков решает эту проблему, используя компьютерное зрение для мгновенного обнаружения и считывания номеров, что делает мониторинг трафика и обеспечение безопасности более эффективными.

Системы ANPR могут захватывать изображения или видео проезжающих транспортных средств и использовать обнаружение объектов в реальном времени для идентификации номерных знаков. После обнаружения используется распознавание текста, чтобы автоматически извлечь номер знака без необходимости вмешательства человека. Этот процесс гарантирует точные результаты, даже когда транспортные средства движутся быстро или знаки частично скрыты.

Рис. 1. Пример использования YOLO11 для обнаружения номерного знака.

Сегодня пункты оплаты проезда, парковочные системы и правоохранительные органы все чаще полагаются на ANPR для эффективного отслеживания автомобилей.

Link to this sectionПроблемы, связанные с технологией ANPR#

Хотя ANPR быстро идентифицирует транспортные средства, существуют некоторые проблемы, которые могут повлиять на точность. Вот несколько распространенных факторов, влияющих на работу системы ANPR:

• Слабое освещение и плохая погода: Номерные знаки становится труднее прочитать ночью и при плохой погоде. Туман, дождь и блики от фар могут размыть текст, делая его нечитаемым.
• Размытые или заблокированные знаки: Быстро движущийся автомобиль может оставить размытое изображение, особенно если выдержка камеры слишком длинная. Грязь, царапины или перекрытые части знака также могут вызвать проблемы с распознаванием. Использование качественных камер с правильными настройками помогает получить более четкие результаты.
• Нестандартный дизайн знаков: Не все номерные знаки выглядят одинаково. Некоторые имеют причудливые шрифты, дополнительный текст или логотипы, которые сбивают систему с толку.
• Риски конфиденциальности и безопасности данных: Важно безопасно хранить данные о транспортных средствах. Правильные меры безопасности предотвращают несанкционированный доступ и защищают информацию. При наличии надлежащих мер защиты системы ANPR могут быть безопасными и надежными.

Link to this sectionКак YOLO11 улучшает системы ANPR#

Ultralytics YOLO11 может сделать системы ANPR быстрее и точнее. Модель быстро обрабатывает изображения, сохраняя высокую точность, и не требует больших вычислительных мощностей, поэтому она хорошо работает на всем: от небольших камер видеонаблюдения до крупных систем управления трафиком.

Благодаря пользовательскому обучению, YOLO11 можно адаптировать к разным стилям номерных знаков, языкам и условиям. Она также отлично справляется с задачами в сложных условиях, таких как слабое освещение, размытие при движении и сложные углы обзора, если ее обучить на специализированных датасетах, включающих изображения с подобными условиями.

Мгновенно идентифицируя автомобили, YOLO11 помогает сократить время ожидания, предотвратить ошибки и повысить уровень безопасности. Это обеспечивает более плавный поток транспорта и повышает эффективность работы парковок, пунктов оплаты и систем наблюдения.

Link to this sectionСоздание системы ANPR с помощью YOLO11 и GPT-4o Mini#

Давай разберем пошагово, как создать систему ANPR с помощью YOLO11 и GPT-4o Mini.

Мы изучим код, представленный в блокноте Ultralytics Google Colab для этого решения. Google Colab удобен в использовании, и любой желающий может создать систему ANPR без сложной настройки.

Link to this sectionШаг 1: Настройка среды#

Для начала нам нужно установить зависимости, то есть необходимые программные пакеты и библиотеки для работы системы ANPR. Эти зависимости помогают с такими задачами, как обнаружение объектов, обработка изображений и распознавание текста, обеспечивая эффективную работу системы.

Мы установим пакет Ultralytics Python, как показано ниже. Этот пакет предоставляет предобученные модели, утилиты для обучения и инструменты для вывода (инференса), что облегчает обнаружение и распознавание номерных знаков с помощью YOLO11.

Рис. 2. Установка пакета Ultralytics Python.

Нам также нужно настроить GPT-4o Mini для распознавания текста. Поскольку GPT-4o Mini отвечает за извлечение текста с обнаруженных знаков, нам понадобится API-ключ для доступа к модели. Этот ключ можно получить, зарегистрировавшись в API GPT-4o Mini. Как только у тебя появится ключ, его можно добавить в блокнот Colab, чтобы система могла подключиться к модели и обрабатывать номера знаков.

После завершения настройки и запуска кода установки YOLO11 будет готов к обнаружению номерных знаков, а GPT-4o Mini будет настроен на распознавание и извлечение текста с них.

Link to this sectionШаг 2: Загрузка обученной модели#

Теперь, когда все настроено, следующим шагом будет загрузка модели YOLO11, специально обученной для распознавания номерных знаков. Поскольку эта модель уже обучена, не нужно тратить время на обучение с нуля. Ты можешь просто скачать ее, и она готова к работе. Это экономит время и значительно упрощает процесс.

Также мы загрузим пример видеофайла для тестирования системы. При желании ты можешь запустить это решение на собственных видеофайлах. После загрузки модель и видеофайлы будут сохранены в среде блокнота.

Рис. 3. Загрузка модели и видеофайла.

Link to this sectionШаг 3: Загрузка видео и начало обнаружения#

Когда модель готова, пришло время увидеть ее в действии. Сначала видеофайл загружается для обработки, чтобы убедиться, что он открывается корректно. Затем настраивается средство записи видео (video writer) для сохранения обработанных кадров с обнаруженными номерными знаками с сохранением исходного размера и частоты кадров. Наконец, модель загружается для обнаружения номерных знаков в каждом кадре видео.

Рис. 4. Чтение видео и загрузка модели.

Как только модель загружена, система начнет анализировать каждый кадр видео для поиска номерных знаков. Когда знак найден, система выделяет его рамкой, что облегчает идентификацию. Этот шаг гарантирует, что фиксируются только важные детали, отфильтровывая ненужную фоновую информацию. С успешно обнаруженными номерами видео готово к следующему этапу.

Link to this sectionШаг 4: Извлечение текста с номерных знаков#

После обнаружения номерного знака следующим шагом является распознавание текста. Система сначала вырезает (кропает) изображение знака из кадра видео, убирая все лишнее для более четкого обзора. Это помогает сфокусироваться на деталях, повышая точность даже в сложных условиях, например при слабом освещении или размытии.

Когда знак изолирован, GPT-4o Mini анализирует изображение, извлекает цифры и буквы и преобразует их в читаемый текст. Распознанный текст затем добавляется обратно на видео, маркируя каждый обнаруженный номер в реальном времени.

После выполнения этих шагов система ANPR полностью готова и с легкостью распознает номерные знаки.

Link to this sectionШаг 5: Сохранение обработанного видео#

Заключительный этап сохраняет обработанное видео и очищает временные файлы, обеспечивая бесперебойную работу.

Каждый обработанный кадр с обнаруженными знаками и распознанным текстом записывается в финальное выходное видео. После обработки всех кадров система закрывает исходный видеофайл, освобождая память и системные ресурсы. Она также финализирует и сохраняет итоговое видео, делая его готовым для просмотра или дальнейшего анализа.

Рис. 5. Использование YOLO11 и GPT-4o Mini для ANPR.

Link to this sectionРазвертывание системы ANPR#

После создания и тестирования решения ANPR следующим шагом будет развертывание в реальных условиях. Большинство моделей vision AI требуют высокой вычислительной мощности, но Ultralytics YOLO11 оптимизирована для Edge AI. Она может эффективно работать на небольших устройствах без необходимости облачных вычислений или постоянного интернет-соединения, что делает ее отличным выбором для локаций с ограниченными ресурсами.

Например, закрытый жилой комплекс может развернуть YOLO11 на периферийном (edge) устройстве для идентификации транспортных средств при въезде, исключая необходимость в крупных серверах. Все обрабатывается на месте в реальном времени, обеспечивая быстрый доступ, уменьшение заторов и повышенную безопасность.

Рис. 6. Обнаружение номерных знаков с помощью YOLO11.

В то же время, в зонах со стабильным интернет-соединением, облачная система ANPR может одновременно обрабатывать данные с нескольких камер. Например, в торговом центре система может отслеживать автомобили на разных въездах и сохранять номера в централизованной базе, что облегчает мониторинг парковки, повышает безопасность и позволяет управлять потоком автомобилей удаленно.

Link to this sectionПерспективы развития ANPR#

Настройка системы автоматического распознавания номерных знаков (ANPR) проста с Ultralytics YOLO11. Она точно обнаруживает номерные знаки и может быть обучена под специфические требования и условия среды.

Системы ANPR повышают безопасность, оптимизируют управление парковкой и улучшают мониторинг трафика. Автоматизируя распознавание номеров, они сокращают количество ошибок, ускоряют идентификацию и делают отслеживание транспорта более эффективным в различных сценариях.

Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub, чтобы увидеть AI в действии. Ознакомься с нашими вариантами лицензирования и узнай больше о vision AI в производстве и AI в беспилотных автомобилях на наших страницах с решениями.