Xây dựng hệ thống ANPR với Ultralytics YOLO11 và GPT-4o Mini

Tìm chỗ đỗ xe trong bãi đông đúc, chờ lâu ở hàng xe tại trạm thu phí hoặc mắc kẹt ở chốt kiểm tra an ninh đều gây khó chịu. Việc kiểm tra phương tiện thủ công thường mất quá nhiều thời gian và gây chậm trễ. Nếu không có hệ thống tự động, việc theo dõi xe hiệu quả có thể là một thách thức.

Thị giác máy tính đã thay đổi điều này bằng cách cho phép nhận diện biển số theo thời gian thực từ hình ảnh và luồng video. Ví dụ, Ultralytics YOLO11 là một model thị giác máy tính hỗ trợ các tác vụ AI thị giác như phát hiện đối tượng, phân loại và theo dõi. Với khả năng phát hiện đối tượng của YOLO11, bạn có thể phát hiện chính xác biển số xe trong hình ảnh.

Ultralytics cung cấp các notebook Google Colab toàn diện, giúp đơn giản hóa quy trình xây dựng giải pháp ứng dụng AI thị giác. Các notebook này được cấu hình sẵn với những dependency thiết yếu, model và hướng dẫn từng bước, giúp việc tạo ứng dụng trở nên dễ dàng hơn. Đặc biệt, có một notebook Colab chuyên dụng cho ANPR (nhận dạng biển số tự động).

Trong bài viết này, bằng cách sử dụng notebook Colab ANPR của Ultralytics, chúng ta sẽ tìm hiểu cách xây dựng giải pháp ANPR với Ultralytics YOLO11 để phát hiện biển số và GPT-4o Mini để nhận dạng văn bản.

Tìm hiểu về ANPR#

Theo dõi xe thủ công tốn thời gian và dễ xảy ra lỗi, đặc biệt khi xe di chuyển nhanh. Kiểm tra từng biển số một làm chậm quy trình và tăng nguy cơ sai sót. Nhận dạng biển số tự động giải quyết vấn đề này bằng cách sử dụng thị giác máy tính để phát hiện và đọc biển số ngay lập tức, giúp giám sát giao thông và an ninh hiệu quả hơn.

Các hệ thống ANPR có thể chụp ảnh hoặc quay video các phương tiện đi qua và dùng tính năng phát hiện đối tượng theo thời gian thực để nhận diện biển số. Sau khi biển số được phát hiện, hệ thống nhận dạng văn bản sẽ tự động trích xuất số biển mà không cần con người can thiệp. Quy trình này giúp duy trì kết quả chính xác ngay cả khi xe di chuyển nhanh hoặc biển số bị che khuất một phần.

Hình 1. Ví dụ sử dụng Ultralytics YOLO11 để phát hiện biển số.

Ngày nay, các trạm thu phí, hệ thống đỗ xe và cơ quan thực thi pháp luật ngày càng dựa vào ANPR để theo dõi phương tiện hiệu quả.

Các thách thức liên quan đến công nghệ ANPR#

Mặc dù ANPR xác định phương tiện nhanh chóng, vẫn có một số thách thức ảnh hưởng đến độ chính xác. Sau đây là một số vấn đề thường gặp có thể tác động đến hiệu quả hoạt động của hệ thống ANPR:

• Ánh sáng yếu và thời tiết xấu: Biển số khó đọc hơn vào ban đêm và khi thời tiết xấu. Sương mù, mưa và ánh sáng chói từ đèn pha có thể làm mờ chữ, khiến biển số không thể đọc được.
• Biển số bị mờ hoặc che khuất: Xe chạy nhanh có thể tạo ra ảnh bị mờ, đặc biệt nếu tốc độ màn trập của camera quá chậm. Bụi bẩn, vết xước hoặc một phần biển số bị che cũng có thể gây ra vấn đề nhận dạng. Sử dụng camera chất lượng cao với cài đặt phù hợp giúp thu được kết quả rõ nét hơn.
• Thiết kế biển số không đồng nhất: Không phải biển số nào cũng giống nhau. Một số biển số có phông chữ cầu kỳ, thêm văn bản hoặc logo khiến hệ thống nhầm lẫn.
• Rủi ro về quyền riêng tư và bảo mật dữ liệu: Việc lưu trữ an toàn dữ liệu phương tiện là rất quan trọng. Các biện pháp bảo mật phù hợp có thể ngăn chặn truy cập trái phép và bảo vệ thông tin. Với các biện pháp bảo vệ thích hợp, hệ thống ANPR vừa có thể an toàn vừa đáng tin cậy.

Cách Ultralytics YOLO11 cải thiện hệ thống ANPR#

Ultralytics YOLO11 có thể giúp hệ thống ANPR nhanh hơn và chính xác hơn. Model xử lý ảnh nhanh chóng mà vẫn duy trì độ chính xác, đồng thời không đòi hỏi năng lực tính toán lớn, vì vậy model hoạt động hiệu quả trên mọi thiết bị, từ camera an ninh nhỏ đến hệ thống giao thông quy mô lớn.

Với huấn luyện tùy chỉnh, Ultralytics YOLO11 có thể được điều chỉnh cho phù hợp với nhiều kiểu biển số, ngôn ngữ và môi trường khác nhau. Các dataset công khai như Car License Plate trên Ultralytics Platform là điểm khởi đầu tốt. Model cũng hoạt động hiệu quả trong các điều kiện khó khăn như thiếu sáng, nhòe do chuyển động và góc chụp khó khi được huấn luyện tùy chỉnh trên các dataset chuyên biệt có chứa hình ảnh trong những điều kiện này.

Bằng cách nhận dạng phương tiện ngay lập tức, Ultralytics YOLO11 giúp giảm thời gian chờ, ngăn ngừa sai sót và cải thiện an ninh. Nhờ đó, lưu lượng giao thông lưu thông trơn tru hơn và hoạt động tại bãi đỗ xe, trạm thu phí cũng như hệ thống giám sát trở nên hiệu quả hơn.

Xây dựng hệ thống ANPR với Ultralytics YOLO11 và GPT-4o Mini#

Tiếp theo, hãy cùng tìm hiểu cách xây dựng hệ thống ANPR bằng Ultralytics YOLO11 và GPT-4o Mini.

Chúng ta sẽ tìm hiểu đoạn mã được trình bày trong notebook Google Colab của Ultralytics dành cho giải pháp này. Notebook Google Colab rất dễ sử dụng và bất kỳ ai cũng có thể tạo hệ thống ANPR mà không cần thiết lập phức tạp.

Bước 1: Thiết lập môi trường#

Để bắt đầu, chúng ta cần cài đặt các dependency, tức những gói phần mềm và thư viện thiết yếu cần thiết để chạy hệ thống ANPR. Các dependency này hỗ trợ những tác vụ như phát hiện đối tượng, xử lý ảnh và nhận dạng văn bản, đảm bảo hệ thống hoạt động hiệu quả.

Chúng ta sẽ cài đặt gói Python Ultralytics như minh họa bên dưới. Gói này cung cấp các model được huấn luyện trước, tiện ích huấn luyện và công cụ suy luận, giúp phát hiện và nhận dạng biển số bằng YOLO11 dễ dàng hơn.

Hình 2. Cài đặt gói Python Ultralytics.

Chúng ta cũng cần thiết lập GPT-4o Mini để nhận dạng văn bản. Vì GPT-4o Mini chịu trách nhiệm trích xuất văn bản từ biển số đã phát hiện, chúng ta cần có API key để truy cập model. Bạn có thể lấy key này bằng cách đăng ký OpenAI API. Sau khi có key, bạn có thể thêm key vào notebook Colab để hệ thống kết nối với model và xử lý các con số trên biển số.

Sau khi hoàn tất thiết lập và chạy mã cài đặt, Ultralytics YOLO11 sẽ sẵn sàng phát hiện biển số, còn GPT-4o Mini sẽ được thiết lập để nhận dạng và trích xuất văn bản từ biển số.

Bước 2: Tải model được huấn luyện tùy chỉnh#

Sau khi thiết lập xong mọi thứ, bước tiếp theo là tải model Ultralytics YOLO11 đã được huấn luyện tùy chỉnh để phát hiện biển số. Vì model này đã được huấn luyện để phát hiện biển số, bạn không cần huấn luyện model từ đầu. Chỉ cần tải model xuống là có thể sử dụng ngay. Điều này giúp tiết kiệm thời gian và đơn giản hóa quy trình đáng kể.

Ngoài ra, chúng ta sẽ tải một tệp video mẫu để kiểm tra hệ thống. Nếu muốn, bạn cũng có thể chạy giải pháp này trên các tệp video của riêng mình. Sau khi tải xuống, model và các tệp video sẽ được lưu trong môi trường notebook.

Hình 3. Tải model và tệp video xuống.

Bước 3: Tải video và bắt đầu phát hiện#

Sau khi model sẵn sàng, đã đến lúc xem model hoạt động. Trước tiên, tệp video được tải để xử lý và xác nhận tệp mở đúng cách. Sau đó, thiết lập trình ghi video để lưu cảnh quay đã xử lý cùng các biển số được phát hiện, đồng thời giữ nguyên kích thước và tốc độ khung hình ban đầu. Cuối cùng, model được tải để phát hiện biển số trong từng khung hình của video.

Hình 4. Đọc video và tải model.

Sau khi model được tải, hệ thống sẽ bắt đầu phân tích từng khung hình của video để phát hiện biển số xe. Khi tìm thấy biển số, hệ thống sẽ đánh dấu biển số bằng bounding box để dễ nhận diện. Bước này đảm bảo chỉ ghi nhận những chi tiết liên quan, lọc bỏ thông tin nền không cần thiết. Sau khi phát hiện thành công các biển số, video đã sẵn sàng cho giai đoạn tiếp theo.

Bước 4: Trích xuất văn bản từ biển số xe#

Sau khi phát hiện biển số, bước tiếp theo là nhận dạng văn bản, còn gọi là nhận dạng ký tự quang học (OCR). Trước tiên, hệ thống cắt biển số khỏi khung hình video, loại bỏ các yếu tố gây nhiễu để hình ảnh rõ nét. Điều này giúp tập trung vào các chi tiết và cải thiện độ chính xác ngay cả trong những điều kiện khó khăn như thiếu sáng hoặc nhòe do chuyển động.

Sau khi được tách riêng, GPT-4o Mini phân tích hình ảnh, trích xuất các chữ số và chữ cái, rồi chuyển chúng thành văn bản có thể đọc được. Sau đó, văn bản được nhận dạng sẽ được thêm lại vào video, gắn nhãn cho từng biển số được phát hiện theo thời gian thực.

Sau khi hoàn tất các bước này, hệ thống ANPR đã hoạt động đầy đủ và sẵn sàng nhận dạng biển số xe một cách dễ dàng.

Bước 5: Lưu video đã xử lý#

Bước cuối cùng là lưu video đã xử lý và dọn dẹp các tệp tạm, đảm bảo mọi thứ hoạt động trơn tru.

Mỗi khung hình đã xử lý, cùng với các biển số được phát hiện và văn bản được nhận dạng, sẽ được ghi vào video đầu ra cuối cùng. Sau khi xử lý tất cả khung hình, hệ thống đóng tệp video đang đọc, giải phóng bộ nhớ và tài nguyên hệ thống. Hệ thống cũng hoàn tất và lưu video đầu ra để video sẵn sàng phát lại hoặc phân tích thêm.

Hình 5. Sử dụng YOLO11 và GPT-4o Mini cho ANPR.

Triển khai hệ thống ANPR#

Sau khi xây dựng và kiểm thử giải pháp ANPR, bước tiếp theo là triển khai giải pháp trong môi trường thực tế. Nhiều model AI thị giác phụ thuộc vào năng lực tính toán hiệu suất cao, nhưng Ultralytics YOLO11 được tối ưu hóa cho AI biên. Model có thể chạy hiệu quả trên các thiết bị nhỏ mà không cần xử lý trên cloud hoặc kết nối internet liên tục, phù hợp với những địa điểm có nguồn lực hạn chế.

Ví dụ, một khu dân cư có cổng kiểm soát có thể triển khai Ultralytics YOLO11 trên thiết bị biên để nhận diện xe khi xe đi vào, không cần đến các máy chủ lớn. Mọi thứ được xử lý tại chỗ theo thời gian thực, đảm bảo ra vào thông suốt, giảm ùn tắc và tăng cường an ninh.

Hình 6. Phát hiện biển số xe bằng YOLO11.

Trong khi đó, tại những khu vực có kết nối internet ổn định, hệ thống ANPR trên đám mây có thể xử lý đồng thời nhiều camera. Chẳng hạn, tại một trung tâm thương mại, hệ thống có thể theo dõi xe qua các lối vào khác nhau và lưu số biển xe vào một hệ thống trung tâm, giúp việc giám sát bãi đỗ xe, tăng cường an ninh và quản lý luồng xe từ xa dễ dàng hơn.

Tương lai của ANPR#

Việc thiết lập hệ thống nhận dạng biển số xe tự động (ANPR) thật đơn giản với Ultralytics YOLO11. Hệ thống phát hiện biển số xe chính xác và có thể được huấn luyện tùy chỉnh để thích ứng với các môi trường và yêu cầu khác nhau.

Hệ thống ANPR tăng cường an ninh, đơn giản hóa việc quản lý bãi đỗ xe và cải thiện hoạt động giám sát giao thông. Bằng cách tự động hóa việc nhận dạng biển số xe, các hệ thống này giảm lỗi, tăng tốc độ nhận diện và giúp theo dõi xe hiệu quả hơn trong nhiều ứng dụng.

Tham gia cộng đồng của chúng tôi và truy cập kho GitHub của chúng tôi để xem AI hoạt động thực tế. Tìm hiểu các tùy chọn cấp phép và khám phá thêm về AI thị giác trong sản xuất cũng như AI trong xe tự lái trên các trang giải pháp của chúng tôi.