Xây dựng hệ thống ANPR với Ultralytics YOLO11 và GPT-4o Mini

Việc tìm chỗ đậu xe tại các bãi đỗ đông đúc, chờ đợi trong những hàng dài tại trạm thu phí hay bị kẹt tại các chốt an ninh thường gây ra sự khó chịu. Các biện pháp kiểm tra phương tiện thủ công thường tốn quá nhiều thời gian và gây trì trệ. Nếu không có hệ thống tự động, việc theo dõi xe cộ một cách hiệu quả có thể là một thách thức.

Computer vision đã thay đổi điều này bằng cách cho phép nhận diện biển số thời gian thực từ hình ảnh và luồng video. Ví dụ, Ultralytics YOLO11 là một model computer vision tiên tiến có thể thực hiện các tác vụ vision AI chuyên sâu như phát hiện, phân loại và theo dõi đối tượng. Sử dụng khả năng phát hiện đối tượng của YOLO11, bạn có thể phát hiện chính xác biển số xe trong hình ảnh.

Ultralytics cung cấp các Google Colab notebooks toàn diện giúp đơn giản hóa quy trình xây dựng các vision AI-powered solutions. Các notebook này đi kèm với các cấu hình sẵn các phụ thuộc, model và hướng dẫn từng bước, giúp việc tạo ứng dụng trở nên dễ dàng hơn. Đặc biệt, có một Colab notebook dành riêng cho ANPR (Nhận diện biển số tự động).

Trong bài viết này, sử dụng Ultralytics Colab notebook cho ANPR, chúng ta sẽ khám phá cách xây dựng giải pháp ANPR sử dụng Ultralytics YOLO11 để phát hiện biển số và GPT-4o Mini để nhận diện văn bản.

Link to this sectionTìm hiểu về ANPR#

Việc theo dõi xe thủ công rất tốn thời gian và dễ xảy ra sai sót, đặc biệt là khi xe đang di chuyển nhanh. Kiểm tra từng biển số một làm chậm quy trình và tăng nguy cơ nhầm lẫn. Automatic number plate recognition giải quyết vấn đề này bằng cách sử dụng computer vision để phát hiện và đọc biển số ngay lập tức, giúp cho việc giám sát giao thông và bảo mật trở nên hiệu quả hơn.

Hệ thống ANPR có thể ghi lại hình ảnh hoặc video của các phương tiện đang đi qua và sử dụng tính năng phát hiện đối tượng thời gian thực để nhận diện biển số. Sau khi phát hiện, công nghệ nhận diện văn bản được sử dụng để trích xuất số biển số một cách tự động mà không cần sự can thiệp của con người. Quy trình này đảm bảo kết quả chính xác ngay cả khi phương tiện đang di chuyển nhanh hoặc biển số bị che khuất một phần.

Fig 1. Một ví dụ về việc sử dụng YOLO11 để phát hiện biển số xe.

Ngày nay, các trạm thu phí, hệ thống bãi đỗ xe và lực lượng thực thi pháp luật đang ngày càng tin tưởng vào ANPR để theo dõi phương tiện một cách hiệu quả.

Link to this sectionNhững thách thức liên quan đến công nghệ ANPR#

Mặc dù ANPR xác định phương tiện nhanh chóng, vẫn còn một số thách thức có thể ảnh hưởng đến độ chính xác của nó. Dưới đây là một vài vấn đề phổ biến có thể tác động đến hiệu suất của một hệ thống ANPR:

• Ánh sáng yếu và thời tiết xấu: Biển số trở nên khó đọc hơn vào ban đêm và trong thời tiết xấu. Sương mù, mưa và ánh đèn pha bị chói có thể làm mờ văn bản, khiến hệ thống không thể đọc được.
• Biển số bị nhòe hoặc bị che khuất: Một chiếc xe di chuyển nhanh có thể tạo ra hình ảnh nhòe, đặc biệt nếu tốc độ màn trập của camera quá chậm. Bụi bẩn, vết trầy xước hoặc các bộ phận che khuất biển số cũng có thể gây ra lỗi nhận diện. Việc sử dụng camera chất lượng cao với cài đặt phù hợp sẽ giúp có được kết quả rõ nét hơn.
• Thiết kế biển số không đồng nhất: Không phải tất cả biển số đều giống nhau. Một số biển có phông chữ lạ, văn bản bổ sung hoặc logo gây nhiễu cho hệ thống.
• Rủi ro về quyền riêng tư và bảo mật dữ liệu: Việc lưu trữ dữ liệu phương tiện một cách an toàn là rất quan trọng. Các biện pháp bảo mật phù hợp có thể ngăn chặn truy cập trái phép và bảo vệ thông tin. Với các biện pháp bảo vệ thích hợp, hệ thống ANPR có thể vừa bảo mật vừa đáng tin cậy.

Link to this sectionYOLO11 cải thiện hệ thống ANPR như thế nào#

Ultralytics YOLO11 có thể giúp hệ thống ANPR nhanh hơn và chính xác hơn. Nó xử lý hình ảnh nhanh chóng trong khi vẫn duy trì độ chính xác và không yêu cầu sức mạnh tính toán quá lớn, vì vậy nó hoạt động tốt trên mọi thiết bị, từ camera an ninh nhỏ đến các hệ thống giao thông quy mô lớn.

Với custom training, YOLO11 có thể được tùy chỉnh để phù hợp với các kiểu biển số, ngôn ngữ và môi trường khác nhau. Nó cũng hoạt động tốt trong các điều kiện khắc nghiệt như ánh sáng yếu, nhòe do chuyển động và các góc khó khi được huấn luyện tùy chỉnh trên các datasets chuyên biệt bao gồm hình ảnh trong các điều kiện này.

Bằng cách nhận diện phương tiện ngay lập tức, YOLO11 giúp giảm thời gian chờ đợi, ngăn ngừa sai sót và nâng cao tính bảo mật. Điều này giúp luồng giao thông trôi chảy hơn và các hoạt động hiệu quả hơn tại các bãi đỗ xe, trạm thu phí và hệ thống giám sát.

Link to this sectionXây dựng hệ thống ANPR với YOLO11 và GPT-4o Mini#

Tiếp theo, hãy cùng tìm hiểu cách xây dựng hệ thống ANPR sử dụng YOLO11 và GPT-4o Mini.

Chúng ta sẽ khám phá đoạn code được trình bày trong Ultralytics Google Colab notebook cho giải pháp này. Google Colab notebook rất dễ sử dụng và bất kỳ ai cũng có thể tạo hệ thống ANPR mà không cần thiết lập phức tạp.

Link to this sectionBước 1: Thiết lập môi trường#

Để bắt đầu, chúng ta cần cài đặt các phụ thuộc, hay các gói phần mềm và thư viện thiết yếu cần thiết để chạy hệ thống ANPR. Các phụ thuộc này hỗ trợ các tác vụ như phát hiện đối tượng, xử lý hình ảnh và nhận diện văn bản, đảm bảo hệ thống hoạt động hiệu quả.

Chúng ta sẽ cài đặt Ultralytics Python package như hình dưới. Gói này cung cấp các model đã được huấn luyện sẵn, các tiện ích huấn luyện và công cụ suy luận, giúp việc phát hiện và nhận diện biển số với YOLO11 dễ dàng hơn.

Fig 2. Cài đặt gói Ultralytics Python.

Chúng ta cũng cần thiết lập GPT-4o Mini cho việc nhận diện văn bản. Vì GPT-4o Mini chịu trách nhiệm trích xuất văn bản từ các biển số đã phát hiện, chúng ta cần một API key để truy cập model. Key này có thể nhận được bằng cách đăng ký API GPT-4o Mini. Khi đã có key, bạn có thể thêm nó vào Colab notebook để hệ thống có thể kết nối với model và xử lý các số trên biển số.

Sau khi hoàn tất thiết lập và chạy code cài đặt, YOLO11 sẽ sẵn sàng phát hiện biển số xe, và GPT-4o Mini sẽ được thiết lập để nhận diện và trích xuất văn bản từ đó.

Link to this sectionBước 2: Tải xuống model đã được huấn luyện tùy chỉnh#

Bây giờ mọi thứ đã được thiết lập, bước tiếp theo là tải xuống model YOLO11 đã được huấn luyện tùy chỉnh để phát hiện biển số xe. Vì model này đã được huấn luyện để phát hiện biển số, không cần phải huấn luyện lại từ đầu. Bạn chỉ cần tải xuống là có thể sử dụng được ngay. Điều này tiết kiệm thời gian và giúp quy trình trở nên dễ dàng hơn nhiều.

Ngoài ra, chúng ta sẽ tải xuống một file video mẫu để kiểm tra hệ thống. Nếu muốn, bạn có thể chạy giải pháp này trên các file video của riêng mình. Sau khi tải xuống, model và các file video sẽ được lưu trữ trong môi trường notebook.

Fig 3. Tải xuống model và file video.

Link to this sectionBước 3: Tải video và bắt đầu phát hiện#

Khi model đã sẵn sàng, đã đến lúc đưa nó vào hoạt động. Đầu tiên, file video được tải để xử lý, đảm bảo nó mở đúng cách. Sau đó, một trình ghi video được thiết lập để lưu lại đoạn phim đã qua xử lý với các biển số đã được phát hiện trong khi vẫn duy trì kích thước và tốc độ khung hình gốc. Cuối cùng, model được tải để phát hiện biển số trong từng khung hình của video.

Fig 4. Đọc video và tải model.

Khi model đã được tải, hệ thống sẽ bắt đầu phân tích từng khung hình của video để phát hiện biển số. Khi phát hiện biển số, hệ thống sẽ làm nổi bật nó bằng một khung phát hiện, giúp việc nhận diện trở nên dễ dàng. Bước này đảm bảo rằng chỉ những chi tiết liên quan được ghi lại, lọc bỏ các thông tin nền không cần thiết. Với các biển số được phát hiện thành công, video hiện đã sẵn sàng cho giai đoạn tiếp theo.

Link to this sectionBước 4: Trích xuất văn bản từ biển số#

Sau khi phát hiện biển số, bước tiếp theo là nhận diện văn bản. Hệ thống trước tiên cắt biển số ra khỏi khung hình video, loại bỏ bất kỳ yếu tố gây xao nhãng nào để có cái nhìn rõ ràng. Điều này giúp tập trung vào các chi tiết, cải thiện độ chính xác ngay cả trong các điều kiện khắc nghiệt như ánh sáng yếu hoặc nhòe do chuyển động.

Khi biển số đã được tách biệt, GPT-4o Mini phân tích hình ảnh, trích xuất các số và chữ cái, rồi chuyển đổi chúng thành văn bản có thể đọc được. Văn bản được nhận diện sau đó được thêm ngược lại vào video, dán nhãn từng biển số đã phát hiện trong thời gian thực.

Với các bước này đã hoàn tất, hệ thống ANPR đã hoạt động đầy đủ và sẵn sàng nhận diện biển số xe một cách dễ dàng.

Link to this sectionBước 5: Lưu video đã qua xử lý#

Bước cuối cùng lưu lại video đã xử lý và dọn dẹp các file tạm thời, đảm bảo mọi thứ chạy trơn tru.

Mỗi khung hình đã qua xử lý, với các biển số đã phát hiện và văn bản được nhận diện, được ghi vào video đầu ra cuối cùng. Khi tất cả các khung hình đã được xử lý, hệ thống đóng file video đang đọc, giải phóng bộ nhớ và tài nguyên hệ thống. Nó cũng hoàn tất và lưu video đầu ra, chuẩn bị sẵn sàng cho việc phát lại hoặc phân tích thêm.

Fig 5. Sử dụng YOLO11 và GPT-4o Mini cho ANPR.

Link to this sectionTriển khai hệ thống ANPR#

Sau khi xây dựng và kiểm tra giải pháp ANPR, bước tiếp theo là triển khai nó trong môi trường thực tế. Hầu hết các vision AI models đều phụ thuộc vào điện toán hiệu năng cao, nhưng Ultralytics YOLO11 được tối ưu hóa cho Edge AI. Nó có thể chạy hiệu quả trên các thiết bị nhỏ mà không cần xử lý đám mây hoặc kết nối internet liên tục, biến nó thành lựa chọn tuyệt vời cho các địa điểm có tài nguyên hạn chế.

Ví dụ, một khu dân cư khép kín có thể triển khai YOLO11 trên thiết bị biên (edge device) để nhận diện phương tiện khi chúng tiến vào, loại bỏ nhu cầu về các máy chủ lớn. Mọi thứ được xử lý tại chỗ theo thời gian thực, đảm bảo quyền truy cập trơn tru, giảm ùn tắc và tăng cường bảo mật.

Fig 6. Phát hiện biển số với YOLO11.

Trong khi đó, ở những khu vực có kết nối internet ổn định, ANPR dựa trên đám mây có thể xử lý đồng thời nhiều camera. Ví dụ, tại một trung tâm mua sắm, nó có thể theo dõi xe cộ ở các lối vào khác nhau và lưu trữ số biển số vào một hệ thống tập trung, giúp việc giám sát bãi đỗ xe dễ dàng hơn, nâng cao bảo mật và quản lý luồng xe từ xa.

Link to this sectionHướng đi sắp tới cho ANPR#

Việc thiết lập hệ thống nhận diện biển số tự động (ANPR) rất đơn giản với Ultralytics YOLO11. Nó phát hiện chính xác biển số và có thể được huấn luyện tùy chỉnh để thích ứng với các môi trường và yêu cầu khác nhau.

Các hệ thống ANPR tăng cường bảo mật, hợp lý hóa quản lý bãi đỗ xe và cải thiện giám sát giao thông. Bằng cách tự động hóa việc nhận diện biển số, chúng giảm thiểu lỗi, tăng tốc độ định danh và giúp việc theo dõi phương tiện hiệu quả hơn trên nhiều ứng dụng khác nhau.

Hãy tham gia cộng đồng của chúng tôi và truy cập kho lưu trữ GitHub của chúng tôi để thấy AI hoạt động thực tế. Khám phá các tùy chọn cấp phép của chúng tôi và tìm hiểu thêm về vision AI trong sản xuất và AI trong xe tự lái trên các trang giải pháp của chúng tôi.