Создай систему ANPR с Ultralytics YOLO11 и GPT-4o Mini

Поиск места на переполненной парковке, ожидание в длинных очередях у пунктов оплаты проезда или задержки на контрольно-пропускных пунктах вызывают раздражение. Ручная проверка автомобилей часто занимает слишком много времени и приводит к задержкам. Без автоматизированной системы эффективно отслеживать автомобили может быть сложно.

Компьютерное зрение изменило эту ситуацию, обеспечив распознавание номерных знаков в реальном времени по изображениям и видеопотокам. Например, Ultralytics YOLO11 — это передовая модель компьютерного зрения, способная выполнять такие сложные задачи искусственного интеллекта в области зрения, как обнаружение объектов, классификация и отслеживание. Используя возможности YOLO11 по обнаружению объектов, ты можешь точно обнаруживать номерные знаки автомобилей на изображениях.

Ultralytics предлагает подробные ноутбуки Google Colab, которые упрощают создание решений на базе искусственного интеллекта в области зрения. Эти ноутбуки предварительно настроены и содержат необходимые зависимости, модели и пошаговые инструкции, что упрощает разработку приложений. В частности, существует специальный ноутбук Colab для ANPR (автоматического распознавания номерных знаков).

В этой статье мы рассмотрим, как с помощью ноутбука Ultralytics Colab для ANPR создать решение ANPR, используя Ultralytics YOLO11 для обнаружения номерных знаков и GPT-4o Mini для распознавания текста.

Что такое ANPR#

Отслеживание автомобилей вручную занимает много времени и сопряжено с риском ошибок, особенно если они движутся быстро. Проверка каждого номерного знака по отдельности замедляет процесс и повышает вероятность ошибок. Автоматическое распознавание номерных знаков решает эту проблему: компьютерное зрение мгновенно обнаруживает и считывает номерные знаки, делая мониторинг движения и обеспечение безопасности более эффективными.

Системы ANPR могут захватывать изображения или видео проезжающих автомобилей и использовать обнаружение объектов в реальном времени для идентификации номерных знаков. После обнаружения применяется распознавание текста, которое автоматически извлекает номера знаков без участия человека. Этот процесс обеспечивает точные результаты, даже когда автомобили движутся быстро или номерные знаки частично закрыты.

Рис. 1. Пример использования Ultralytics YOLO11 для обнаружения номерного знака.

Сегодня пункты оплаты проезда, парковочные системы и правоохранительные органы всё чаще используют ANPR для эффективного отслеживания автомобилей.

Проблемы, связанные с технологией ANPR#

Хотя ANPR быстро идентифицирует автомобили, некоторые проблемы всё ещё могут влиять на точность. Вот несколько распространённых факторов, которые могут влиять на работу системы ANPR:

• Плохое освещение и неблагоприятные погодные условия: Ночью и в плохую погоду номерные знаки становится сложнее прочитать. Туман, дождь и блики от фар могут размывать текст, делая его нечитаемым.
• Размытые или закрытые номерные знаки: Быстро движущийся автомобиль может получиться на изображении размытым, особенно если выдержка камеры слишком велика. Грязь, царапины или закрытые части номерного знака также могут вызывать проблемы с распознаванием. Использование качественных камер с правильными настройками помогает получать более чёткие результаты.
• Разнообразие дизайна номерных знаков: Не все номерные знаки выглядят одинаково. На некоторых используются необычные шрифты, дополнительный текст или логотипы, которые сбивают систему с толку.
• Риски конфиденциальности и безопасность данных: Важно безопасно хранить данные об автомобилях. Правильные меры безопасности помогают предотвратить несанкционированный доступ и защитить информацию. При наличии надлежащих средств защиты системы ANPR могут быть одновременно безопасными и надёжными.

Как Ultralytics YOLO11 улучшает системы ANPR#

Ultralytics YOLO11 может сделать системы ANPR более быстрыми и точными. Она быстро обрабатывает изображения, сохраняя высокую точность, и не требует значительных вычислительных ресурсов, поэтому хорошо работает как на небольших камерах безопасности, так и в крупных системах управления дорожным движением.

С помощью дообучения на собственных данных Ultralytics YOLO11 можно адаптировать к различным стилям номерных знаков, языкам и условиям эксплуатации. Модель также хорошо работает в сложных условиях, например при плохом освещении, размытии из-за движения и неудобных углах съёмки, если дообучить её на специализированных наборах данных, содержащих изображения с такими условиями.

Мгновенно идентифицируя автомобили, Ultralytics YOLO11 помогает сократить время ожидания, предотвратить ошибки и повысить безопасность. Благодаря этому движение становится более плавным, а операции на парковках, пунктах оплаты проезда и в системах видеонаблюдения — более эффективными.

Создание системы ANPR с Ultralytics YOLO11 и GPT-4o Mini#

Далее пошагово разберём, как создать систему ANPR с использованием Ultralytics YOLO11 и GPT-4o Mini.

Мы рассмотрим код из ноутбука Ultralytics Google Colab для этого решения. Ноутбук Google Colab прост в использовании, и любой желающий может создать систему ANPR без сложной настройки.

Шаг 1: Настройка среды#

Для начала нужно установить зависимости — основные программные пакеты и библиотеки, необходимые для работы системы ANPR. Эти зависимости обеспечивают выполнение таких задач, как обнаружение объектов, обработка изображений и распознавание текста, благодаря чему система работает эффективно.

Мы установим пакет Ultralytics для Python, как показано ниже. Этот пакет предоставляет предварительно обученные модели, инструменты обучения и средства инференса, упрощая обнаружение и распознавание номерных знаков с помощью YOLO11.

Рис. 2. Установка пакета Ultralytics для Python.

Также нужно настроить GPT-4o Mini для распознавания текста. Поскольку GPT-4o Mini отвечает за извлечение текста с обнаруженных номерных знаков, для доступа к модели нужен API-ключ. Его можно получить, зарегистрировавшись для использования API GPT-4o Mini. После получения ключ можно добавить в ноутбук Colab, чтобы система могла подключиться к модели и обрабатывать номера знаков.

После завершения настройки и выполнения кода установки Ultralytics YOLO11 будет готова к обнаружению номерных знаков, а GPT-4o Mini — к их распознаванию и извлечению текста.

Шаг 2. Загрузка дообученной модели#

Теперь, когда всё настроено, следующим шагом будет загрузка модели Ultralytics YOLO11, дообученной для обнаружения номерных знаков. Поскольку модель уже обучена обнаруживать номерные знаки, нет необходимости обучать её с нуля. Ты можешь просто скачать её и сразу использовать. Это экономит время и значительно упрощает процесс.

Также мы загрузим пример видеофайла для тестирования системы. При желании ты можешь запустить это решение и на собственных видеофайлах. После загрузки модель и видеофайлы будут сохранены в среде ноутбука.

Рис. 3. Загрузка модели и видеофайла.

Шаг 3. Загрузка видео и запуск обнаружения#

Когда модель готова, пора увидеть её в действии. Сначала видеофайл загружается для обработки, чтобы убедиться в его корректном открытии. Затем настраивается видеозапись для сохранения обработанного материала с обнаруженными номерными знаками при сохранении исходных размера и частоты кадров. Наконец, модель загружается для обнаружения номерных знаков в каждом кадре видео.

Рис. 4. Чтение видео и загрузка модели.

После загрузки модели система начнёт анализировать каждый кадр видео для обнаружения номерных знаков. Когда знак найден, система выделяет его рамкой обнаружения, что упрощает идентификацию. Этот шаг гарантирует, что будут захвачены только нужные детали, а лишняя информация на заднем плане будет отфильтрована. После успешного обнаружения номерных знаков видео готово к следующему этапу.

Шаг 4. Извлечение текста с номерных знаков#

После обнаружения номерного знака следующим шагом становится распознавание текста. Система сначала обрезает знак из кадра видео, устраняя отвлекающие элементы и обеспечивая чёткое изображение. Это помогает сосредоточиться на деталях и повысить точность даже в сложных условиях, например при плохом освещении или размытии из-за движения.

После выделения номерного знака GPT-4o Mini анализирует изображение, извлекает цифры и буквы и преобразует их в читаемый текст. Затем распознанный текст добавляется обратно в видео, обозначая каждый обнаруженный номерной знак в реальном времени.

После выполнения этих шагов система ANPR полностью готова легко распознавать номерные знаки.

Шаг 5. Сохранение обработанного видео#

На последнем шаге обработанное видео сохраняется, а временные файлы удаляются, чтобы всё работало без сбоев.

Каждый обработанный кадр с обнаруженными номерными знаками и распознанным текстом записывается в итоговое видео. После обработки всех кадров система закрывает читаемый видеофайл, освобождая память и системные ресурсы. Она также завершает обработку и сохраняет выходное видео, подготавливая его к воспроизведению или дальнейшему анализу.

Рис. 5. Использование YOLO11 и GPT-4o Mini для ANPR.

Развёртывание системы ANPR#

После создания и тестирования решения ANPR следующим шагом становится его развёртывание в реальных условиях. Большинство моделей искусственного интеллекта в области зрения зависят от высокопроизводительных вычислений, но Ultralytics YOLO11 оптимизирована для периферийного искусственного интеллекта. Она эффективно работает на небольших устройствах без облачной обработки или постоянного подключения к интернету, что делает её отличным выбором для мест с ограниченными ресурсами.

Например, жилой комплекс с контролируемым въездом может развернуть Ultralytics YOLO11 на периферийном устройстве для идентификации въезжающих автомобилей, устраняя необходимость в больших серверах. Всё обрабатывается на месте в реальном времени, что обеспечивает удобный доступ, уменьшение заторов и повышенную безопасность.

Рис. 6. Обнаружение номерных знаков с помощью YOLO11.

В то же время в районах со стабильным интернет-соединением облачная система ANPR может одновременно обрабатывать данные с нескольких камер. Например, в торговом центре она может отслеживать автомобили на разных въездах и сохранять номера знаков в централизованной системе, упрощая мониторинг парковки, повышение безопасности и удалённое управление потоком автомобилей.

Перспективы ANPR#

Настроить систему автоматического распознавания номерных знаков (ANPR) с помощью Ultralytics YOLO11 просто. Она точно обнаруживает номерные знаки и может быть дообучена для адаптации к различным условиям и требованиям.

Системы ANPR повышают безопасность, упрощают управление парковками и улучшают мониторинг дорожного движения. Автоматизируя распознавание номерных знаков, они сокращают количество ошибок, ускоряют идентификацию и делают отслеживание автомобилей более эффективным в различных сценариях применения.

Присоединяйся к нашему сообществу и посети наш репозиторий на GitHub, чтобы увидеть искусственный интеллект в действии. Изучи наши варианты лицензирования и узнай больше о компьютерном зрении в производстве и искусственном интеллекте в беспилотных автомобилях на наших страницах решений.