Создай систему ANPR с помощью Ultralytics YOLO11 и GPT-4o Mini

Поиск парковки на переполненной стоянке, ожидание в длинных очередях на пунктах оплаты или задержки на контрольно-пропускных пунктах вызывают разочарование. Ручная проверка транспортных средств часто занимает слишком много времени и приводит к задержкам. Без автоматизированной системы эффективно отслеживать автомобили бывает непросто.

Computer vision изменило это, обеспечив распознавание номерных знаков в реальном времени из изображений и видеопотоков. Например, Ultralytics YOLO11 — это передовая модель компьютерного зрения, способная выполнять сложные задачи ИИ в области зрения, такие как обнаружение объектов, классификация и трекинг. Используя возможности обнаружения объектов YOLO11, ты можешь точно находить автомобильные номера на изображениях.

Ultralytics предлагает подробные Google Colab notebooks, которые упрощают процесс создания решений на базе ИИ для работы с изображениями. Эти ноутбуки поставляются с предварительно настроенными необходимыми зависимостями, моделями и пошаговыми руководствами, что облегчает создание приложений. В частности, существует специальный Colab notebook для ANPR (автоматического распознавания номерных знаков).

В этой статье, используя блокнот Ultralytics Colab для ANPR, мы разберем, как построить решение ANPR с помощью Ultralytics YOLO11 для обнаружения номерных знаков и GPT-4o Mini для распознавания текста.

Что такое ANPR#

Отслеживание автомобилей вручную отнимает много времени и подвержено ошибкам, особенно когда они движутся быстро. Проверка каждого номерного знака по отдельности замедляет процесс и увеличивает риск ошибок. Автоматическое распознавание номерных знаков решает эту проблему за счет использования компьютерного зрения для мгновенного обнаружения и чтения номерных знаков, делая мониторинг дорожного движения и безопасность более эффективными.

Системы ANPR могут захватывать изображения или видео проезжающих транспортных средств и использовать обнаружение объектов в реальном времени для идентификации номерных знаков. После обнаружения используется распознавание текста, чтобы автоматически извлечь номер знака без необходимости вмешательства человека. Этот процесс гарантирует точные результаты, даже когда транспортные средства движутся быстро или знаки частично скрыты.

Fig 1. Пример использования Ultralytics YOLO11 для обнаружения номерного знака.

Сегодня пункты оплаты проезда, парковочные системы и правоохранительные органы все чаще полагаются на ANPR для эффективного отслеживания автомобилей.

Проблемы, связанные с технологией ANPR#

Хотя ANPR быстро идентифицирует транспортные средства, существуют некоторые проблемы, которые могут повлиять на точность. Вот несколько распространенных факторов, влияющих на работу системы ANPR:

• Слабое освещение и плохая погода: Номерные знаки становится труднее прочитать ночью и при плохой погоде. Туман, дождь и блики от фар могут размыть текст, делая его нечитаемым.
• Размытые или заблокированные знаки: Быстро движущийся автомобиль может оставить размытое изображение, особенно если выдержка камеры слишком длинная. Грязь, царапины или перекрытые части знака также могут вызвать проблемы с распознаванием. Использование качественных камер с правильными настройками помогает получить более четкие результаты.
• Нестандартный дизайн знаков: Не все номерные знаки выглядят одинаково. Некоторые имеют причудливые шрифты, дополнительный текст или логотипы, которые сбивают систему с толку.
• Риски конфиденциальности и безопасности данных: Важно безопасно хранить данные о транспортных средствах. Правильные меры безопасности предотвращают несанкционированный доступ и защищают информацию. При наличии надлежащих мер защиты системы ANPR могут быть безопасными и надежными.

Как Ultralytics YOLO11 улучшает системы ANPR#

Ultralytics YOLO11 может сделать системы ANPR быстрее и точнее. Модель быстро обрабатывает изображения, сохраняя высокую точность, и не требует больших вычислительных мощностей, поэтому она хорошо работает на всем: от небольших камер видеонаблюдения до крупных систем управления трафиком.

С помощью пользовательского обучения Ultralytics YOLO11 можно адаптировать к различным стилям номерных знаков, языкам и условиям. Она также отлично справляется со сложными условиями, такими как слабое освещение, размытие движения и сложные ракурсы, если ее обучить на специализированных наборах данных, содержащих изображения в таких условиях.

Мгновенно распознавая транспортные средства, Ultralytics YOLO11 помогает сократить время ожидания, предотвратить ошибки и повысить уровень безопасности. Это делает дорожное движение более плавным, а работу парковок, пунктов оплаты и систем видеонаблюдения — более эффективной.

Создание системы ANPR с помощью Ultralytics YOLO11 и GPT-4o Mini#

Давай разберем, как создать систему ANPR с помощью Ultralytics YOLO11 и GPT-4o Mini.

Мы рассмотрим код, представленный в Google Colab ноутбуке Ultralytics для этого решения. Google Colab ноутбук прост в использовании, и любой может создать систему ANPR без необходимости сложной настройки.

Шаг 1: Настройка среды#

Для начала нам нужно установить зависимости, то есть необходимые программные пакеты и библиотеки для работы системы ANPR. Эти зависимости помогают с такими задачами, как обнаружение объектов, обработка изображений и распознавание текста, обеспечивая эффективную работу системы.

Мы установим пакет Python от Ultralytics, как показано ниже. Этот пакет предоставляет предобученные модели, утилиты для обучения и инструменты инференса, упрощая обнаружение и распознавание номерных знаков с помощью YOLO11.

Рис. 2. Установка пакета Ultralytics Python.

Нам также нужно настроить GPT-4o Mini для распознавания текста. Поскольку GPT-4o Mini отвечает за извлечение текста с обнаруженных знаков, нам понадобится API-ключ для доступа к модели. Этот ключ можно получить, зарегистрировавшись в API GPT-4o Mini. Как только у тебя появится ключ, его можно добавить в блокнот Colab, чтобы система могла подключиться к модели и обрабатывать номера знаков.

После завершения настройки и выполнения кода установки Ultralytics YOLO11 будет готова обнаруживать номерные знаки, а GPT-4o Mini будет настроена на распознавание и извлечение текста из них.

Шаг 2: Загрузка обученной модели#

Теперь, когда все настроено, следующим шагом будет загрузка модели Ultralytics YOLO11, специально обученной для обнаружения номерных знаков. Поскольку эта модель уже обучена находить номерные знаки, обучать ее с нуля не нужно. Ты можешь просто скачать ее, и она готова к использованию. Это экономитит время и значительно упрощает процесс.

Также мы загрузим пример видеофайла для тестирования системы. При желании ты можешь запустить это решение на собственных видеофайлах. После загрузки модель и видеофайлы будут сохранены в среде блокнота.

Рис. 3. Загрузка модели и видеофайла.

Шаг 3: Загрузка видео и начало обнаружения#

Когда модель готова, пришло время увидеть ее в действии. Сначала видеофайл загружается для обработки, чтобы убедиться, что он открывается корректно. Затем настраивается средство записи видео (video writer) для сохранения обработанных кадров с обнаруженными номерными знаками с сохранением исходного размера и частоты кадров. Наконец, модель загружается для обнаружения номерных знаков в каждом кадре видео.

Рис. 4. Чтение видео и загрузка модели.

Как только модель загружена, система начнет анализировать каждый кадр видео для поиска номерных знаков. Когда знак найден, система выделяет его рамкой, что облегчает идентификацию. Этот шаг гарантирует, что фиксируются только важные детали, отфильтровывая ненужную фоновую информацию. С успешно обнаруженными номерами видео готово к следующему этапу.

Шаг 4: Извлечение текста с номерных знаков#

После обнаружения номерного знака следующим шагом является распознавание текста. Система сначала вырезает (кропает) изображение знака из кадра видео, убирая все лишнее для более четкого обзора. Это помогает сфокусироваться на деталях, повышая точность даже в сложных условиях, например при слабом освещении или размытии.

Как только номерной знак выделен, GPT-4o Mini анализирует изображение, извлекает цифры и буквы и преобразует их в читаемый текст. Затем распознанный текст добавляется обратно в видео, размечая каждый обнаруженный номер в реальном времени.

После выполнения этих шагов система ANPR полностью готова и с легкостью распознает номерные знаки.

Шаг 5: Сохранение обработанного видео#

Заключительный этап сохраняет обработанное видео и очищает временные файлы, обеспечивая бесперебойную работу.

Каждый обработанный кадр с обнаруженными знаками и распознанным текстом записывается в финальное выходное видео. После обработки всех кадров система закрывает исходный видеофайл, освобождая память и системные ресурсы. Она также финализирует и сохраняет итоговое видео, делая его готовым для просмотра или дальнейшего анализа.

Fig 5. Использование YOLO11 и GPT-4o Mini для ANPR.

Развертывание системы ANPR#

После создания и тестирования решения ANPR следующим шагом является его развертывание в реальных условиях. Большинство моделей компьютерного зрения зависят от высокопроизводительных вычислений, но Ultralytics YOLO11 оптимизирован для Edge AI. Он может эффективно работать на небольших устройствах без необходимости облачной обработки или постоянного подключения к интернету, что делает его отличным выбором для локаций с ограниченными ресурсами.

Например, закрытый жилой комплекс может развернуть Ultralytics YOLO11 на периферийном устройстве для идентификации автомобилей при въезде, избавившись от необходимости использовать крупные серверы. Все обрабатывается на месте в реальном времени, обеспечивая беспрепятственный доступ, меньшее количество заторов и повышенную безопасность.

Fig 6. Обнаружение номерных знаков с помощью YOLO11.

В то же время, в зонах со стабильным интернет-соединением, облачная система ANPR может одновременно обрабатывать данные с нескольких камер. Например, в торговом центре система может отслеживать автомобили на разных въездах и сохранять номера в централизованной базе, что облегчает мониторинг парковки, повышает безопасность и позволяет управлять потоком автомобилей удаленно.

Перспективы развития ANPR#

Настройка системы автоматического распознавания номерных знаков (ANPR) проста с Ultralytics YOLO11. Она точно обнаруживает номерные знаки и может быть обучена под специфические требования и условия среды.

Системы ANPR повышают безопасность, оптимизируют управление парковкой и улучшают мониторинг трафика. Автоматизируя распознавание номеров, они сокращают количество ошибок, ускоряют идентификацию и делают отслеживание транспорта более эффективным в различных сценариях.

Присоединяйся к нашему сообществу и посети наш репозиторий на GitHub, чтобы увидеть ИИ в действии. Изучи наши варианты лицензирования и узнай больше о зрительном ИИ в производстве и ИИ в самоуправляемых автомобилях на наших страницах решений.