Создай систему ANPR с помощью Ultralytics YOLO11 и GPT-4o Mini

Найти парковочное место на переполненной стоянке, простоять в длинной очереди на пункте оплаты проезда или застрять на пункте досмотра — всё это раздражает. Ручная проверка автомобилей часто занимает слишком много времени и приводит к задержкам. Без автоматизированной системы эффективно отслеживать автомобили бывает сложно.

Компьютерное зрение изменило эту сферу, позволив распознавать номерные знаки в реальном времени на изображениях и видеопотоках. Например, Ultralytics YOLO11 — это модель компьютерного зрения, которая поддерживает задачи визуального ИИ, такие как обнаружение, классификация и отслеживание объектов. Благодаря возможностям YOLO11 по обнаружению объектов ты можешь точно находить номерные знаки автомобилей на изображениях.

Ultralytics предлагает подробные блокноты Google Colab, упрощающие разработку решений на базе ИИ для компьютерного зрения. В этих блокнотах заранее настроены необходимые зависимости и модели, а также есть пошаговые инструкции, поэтому создавать приложения проще. В частности, доступен специальный блокнот Colab для ANPR (распознавания автомобильных номерных знаков).

В этой статье мы рассмотрим, как с помощью блокнота Ultralytics Colab для ANPR создать решение на базе Ultralytics YOLO11 для обнаружения номерных знаков и GPT-4o Mini для распознавания текста.

Что такое ANPR#

Ручное отслеживание автомобилей отнимает много времени и часто приводит к ошибкам, особенно если автомобили движутся быстро. Проверка каждого номерного знака по отдельности замедляет процесс и повышает риск ошибок. Автоматическое распознавание автомобильных номерных знаков решает эту проблему: компьютерное зрение мгновенно обнаруживает номерные знаки и считывает их, повышая эффективность мониторинга дорожного движения и обеспечения безопасности.

Системы ANPR могут снимать проезжающие автомобили и использовать обнаружение объектов в реальном времени для распознавания номерных знаков. После обнаружения знака система автоматически извлекает его номер с помощью распознавания текста — без участия человека. Это помогает получать точные результаты, даже если автомобили движутся быстро или знаки частично закрыты.

Рис. 1. Пример обнаружения номерного знака с помощью Ultralytics YOLO11.

Сегодня пункты оплаты проезда, парковочные системы и правоохранительные органы всё чаще используют ANPR для эффективного отслеживания автомобилей.

Проблемы, связанные с технологией ANPR#

Хотя ANPR быстро распознаёт автомобили, на точность системы всё ещё могут влиять некоторые факторы. Вот несколько распространённых проблем:

• Недостаточное освещение и плохая погода: Номерные знаки труднее считывать ночью и в плохую погоду. Туман, дождь и блики от фар могут размыть текст и сделать его нечитаемым.
• Размытые или закрытые номерные знаки: Быстро движущийся автомобиль может попасть на размытый снимок, особенно если выдержка камеры слишком длинная. Грязь, царапины или частично закрытый номерной знак также могут помешать распознаванию. Камеры высокого качества с правильными настройками помогают получать более чёткие изображения.
• Различия в оформлении номерных знаков: Номерные знаки выглядят по-разному. Необычные шрифты, дополнительный текст или логотипы могут сбивать систему с толку.
• Риски для конфиденциальности и безопасность данных: Данные об автомобилях важно хранить безопасно. Правильные меры защиты предотвращают несанкционированный доступ и помогают сохранять информацию в безопасности. При надлежащей защите системы ANPR могут быть одновременно безопасными и надёжными.

Как Ultralytics YOLO11 улучшает системы ANPR#

Ultralytics YOLO11 позволяет ускорить работу систем ANPR и повысить их точность. Модель быстро обрабатывает изображения, сохраняя высокую точность, и не требует больших вычислительных мощностей, поэтому подходит как для небольших камер безопасности, так и для крупных транспортных систем.

Благодаря обучению на собственных данных Ultralytics YOLO11 можно адаптировать к разным форматам номерных знаков, языкам и условиям. Хорошей отправной точкой станут общедоступные наборы данных, например Car License Plate на платформе Ultralytics. При обучении на специализированных наборах данных с изображениями в сложных условиях модель также хорошо работает при слабом освещении, размытии в движении и съёмке под неудобными углами.

Мгновенно распознавая автомобили, Ultralytics YOLO11 помогает сократить время ожидания, предотвращать ошибки и повышать безопасность. Благодаря этому транспорт движется свободнее, а работа парковок, пунктов оплаты проезда и систем видеонаблюдения становится эффективнее.

Создание системы ANPR с помощью Ultralytics YOLO11 и GPT-4o Mini#

Теперь разберём, как создать систему ANPR с помощью Ultralytics YOLO11 и GPT-4o Mini.

Мы рассмотрим код из блокнота Ultralytics Google Colab для этого решения. Блокнот Google Colab прост в использовании, и создать систему ANPR сможет каждый — сложная настройка не понадобится.

Шаг 1. Настройка среды#

Для начала установим зависимости — необходимые программные пакеты и библиотеки, которые нужны для работы системы ANPR. Они помогают выполнять такие задачи, как обнаружение объектов, обработка изображений и распознавание текста, и обеспечивают эффективную работу системы.

Как показано ниже, установим пакет Ultralytics для Python. Он предоставляет предварительно обученные модели, инструменты обучения и инференса, упрощая обнаружение и распознавание номерных знаков с помощью YOLO11.

Рис. 2. Установка пакета Ultralytics для Python.

Также нужно настроить GPT-4o Mini для распознавания текста. Поскольку GPT-4o Mini извлекает текст с обнаруженных номерных знаков, для доступа к модели понадобится API-ключ. Его можно получить, зарегистрировавшись в OpenAI API. Затем добавь ключ в блокнот Colab, чтобы система могла подключиться к модели и обработать номера.

После настройки и выполнения кода установки Ultralytics YOLO11 будет готова обнаруживать номерные знаки, а GPT-4o Mini — распознавать и извлекать с них текст.

Шаг 2. Скачивание модели, обученной на пользовательских данных#

Теперь, когда всё настроено, следующим шагом будет скачать модель Ultralytics YOLO11, специально обученную обнаруживать номерные знаки. Поскольку модель уже обучена этой задаче, обучать её с нуля не нужно. Просто скачай модель — и она готова к использованию. Это экономит время и значительно упрощает процесс.

Также скачаем тестовый видеофайл для проверки системы. При желании можно запустить это решение и на собственных видеофайлах. После скачивания модель и видеофайлы будут сохранены в среде блокнота.

Рис. 3. Скачивание модели и видеофайла.

Шаг 3. Загрузка видео и запуск обнаружения#

Когда модель будет готова, можно проверить её в работе. Сначала загружается видеофайл для обработки и проверяется, что он открывается корректно. Затем настраивается видеозапись обработанного материала с обнаруженными номерными знаками с сохранением исходного размера и частоты кадров. Наконец, загружается модель для обнаружения номерных знаков в каждом кадре видео.

Рис. 4. Чтение видео и загрузка модели.

После загрузки модели система начнёт анализировать каждый кадр видео и искать номерные знаки. Найденный знак будет обведён рамкой, поэтому его будет легко заметить. Благодаря этому система фиксирует только нужные детали и отфильтровывает лишнюю информацию на заднем плане. После обнаружения всех знаков видео готово к следующему этапу.

Шаг 4. Извлечение текста с номерных знаков#

После обнаружения номерного знака следующий этап — распознавание текста, также известное как оптическое распознавание символов (OCR). Сначала система вырезает номерной знак из кадра видео, чтобы ничто не мешало его рассмотреть. Это помогает сосредоточиться на деталях и повысить точность даже в сложных условиях, например при слабом освещении или размытии в движении.

Когда номерной знак выделен, GPT-4o Mini анализирует изображение, извлекает цифры и буквы и преобразует их в читаемый текст. Затем распознанный текст добавляется обратно в видео, чтобы в реальном времени подписывать каждый обнаруженный номерной знак.

После выполнения этих шагов система ANPR полностью готова к работе и может легко распознавать номерные знаки.

Шаг 5. Сохранение обработанного видео#

На последнем этапе обработанное видео сохраняется, а временные файлы удаляются, чтобы все работало без сбоев.

Каждый обработанный кадр с обнаруженными номерными знаками и распознанным текстом записывается в итоговое видео. После обработки всех кадров система закрывает исходный видеофайл, освобождая память и системные ресурсы. Также система завершает обработку и сохраняет итоговое видео, после чего его можно воспроизвести или проанализировать.

Рис. 5. Использование YOLO11 и GPT-4o Mini для ANPR.

Развертывание системы ANPR#

После разработки и тестирования решения ANPR следующий шаг — его развёртывание в реальных условиях. Многие модели визуального ИИ зависят от высокопроизводительных вычислений, но Ultralytics YOLO11 оптимизирована для периферийного ИИ. Модель эффективно работает на небольших устройствах без облачных вычислений и постоянного подключения к интернету, поэтому отлично подходит для мест с ограниченными ресурсами.

Например, закрытый жилой комплекс может установить Ultralytics YOLO11 на граничном устройстве, чтобы распознавать въезжающие автомобили, не прибегая к большим серверам. Все обрабатывается на месте в реальном времени, что обеспечивает беспрепятственный проезд, снижает заторы и повышает безопасность.

Рис. 6. Обнаружение номерных знаков с помощью YOLO11.

В то же время в районах со стабильным интернет-соединением облачная система ANPR может одновременно обрабатывать видео с нескольких камер. Например, в торговом центре такая система может отслеживать автомобили у разных въездов и сохранять номера в централизованной системе. Это упрощает контроль парковки, повышает безопасность и позволяет удаленно управлять транспортным потоком.

Перспективы развития ANPR#

Создать систему автоматического распознавания номерных знаков (ANPR) просто с Ultralytics YOLO11. Модель точно обнаруживает номерные знаки, а ее можно дообучить под разные условия и требования.

Системы ANPR повышают безопасность, упрощают управление парковкой и улучшают мониторинг дорожного движения. Автоматизация распознавания номерных знаков помогает снизить количество ошибок, ускорить идентификацию и эффективнее отслеживать транспорт в самых разных областях.

Присоединяйся к нашему сообществу и загляни в наш репозиторий на GitHub, чтобы увидеть ИИ в действии. Ознакомься с вариантами лицензирования и узнай больше о компьютерном зрении в производстве и ИИ в беспилотных автомобилях на страницах наших решений.