Xây dựng hệ thống ANPR với Ultralytics YOLO11 và GPT-4o Mini

Việc tìm chỗ đỗ xe trong bãi đông đúc, chờ đợi tại các làn trạm thu phí dài hoặc bị mắc kẹt ở các chốt kiểm soát an ninh thật令人 khó chịu. Kiểm tra phương tiện thủ công thường mất quá nhiều thời gian và gây ra sự chậm trễ. Nếu không có hệ thống tự động, việc theo dõi xe hiệu quả có thể là một thách thức.

Thị giác máy tính đã thay đổi điều này bằng cách cho phép nhận dạng biển số theo thời gian thực từ hình ảnh và luồng video. Ví dụ, Ultralytics YOLO11 là một model thị giác máy tính tiên tiến có thể thực hiện các tác vụ AI thị giác nâng cao như phát hiện đối tượng, phân loại và theo dõi. Với khả năng phát hiện đối tượng của YOLO11, bạn có thể phát hiện chính xác biển số xe trong hình ảnh.

Ultralytics cung cấp các notebook Google Colab toàn diện, giúp đơn giản hóa quy trình xây dựng giải pháp hỗ trợ bởi AI thị giác. Các notebook này được cấu hình sẵn với những dependency, model và hướng dẫn từng bước cần thiết, giúp việc tạo ứng dụng trở nên dễ dàng hơn. Đặc biệt, có một notebook Colab dành riêng cho ANPR (Nhận dạng biển số tự động).

Trong bài viết này, sử dụng notebook Colab ANPR của Ultralytics, chúng ta sẽ tìm hiểu cách xây dựng giải pháp ANPR bằng Ultralytics YOLO11 để phát hiện biển số và GPT-4o Mini để nhận dạng văn bản.

Tìm hiểu về ANPR#

Theo dõi xe thủ công tốn nhiều thời gian và dễ xảy ra lỗi, đặc biệt khi xe di chuyển nhanh. Kiểm tra từng biển số một làm chậm quy trình và tăng nguy cơ sai sót. Nhận dạng biển số tự động giải quyết vấn đề này bằng cách sử dụng thị giác máy tính để phát hiện và đọc biển số ngay lập tức, giúp việc giám sát giao thông và an ninh hiệu quả hơn.

Các hệ thống ANPR có thể chụp hình ảnh hoặc video của những phương tiện đang chạy qua và sử dụng tính năng phát hiện đối tượng theo thời gian thực để xác định biển số. Sau khi phát hiện, tính năng nhận dạng văn bản được sử dụng để tự động trích xuất số biển mà không cần con người can thiệp. Quy trình này đảm bảo kết quả chính xác ngay cả khi phương tiện di chuyển nhanh hoặc biển số bị che khuất một phần.

Hình 1. Ví dụ sử dụng Ultralytics YOLO11 để phát hiện biển số xe.

Ngày nay, các trạm thu phí, hệ thống bãi đỗ xe và cơ quan thực thi pháp luật ngày càng phụ thuộc vào ANPR để theo dõi phương tiện hiệu quả.

Các thách thức liên quan đến công nghệ ANPR#

Mặc dù ANPR xác định phương tiện nhanh chóng, vẫn có một số thách thức có thể ảnh hưởng đến độ chính xác. Dưới đây là một vài vấn đề phổ biến có thể tác động đến hiệu quả hoạt động của hệ thống ANPR:

• Ánh sáng yếu và thời tiết xấu: Biển số khó đọc hơn vào ban đêm và trong thời tiết xấu. Sương mù, mưa và ánh sáng chói từ đèn pha có thể làm mờ văn bản, khiến văn bản không thể đọc được.
• Biển số bị mờ hoặc che khuất: Xe di chuyển nhanh có thể tạo ra hình ảnh bị nhòe, đặc biệt nếu tốc độ màn trập của camera quá chậm. Bụi bẩn, vết xước hoặc các phần biển số bị che cũng có thể gây ra vấn đề nhận dạng. Sử dụng camera chất lượng cao với cài đặt phù hợp giúp thu được kết quả rõ ràng hơn.
• Thiết kế biển số không nhất quán: Không phải biển số nào cũng giống nhau. Một số biển có font chữ cách điệu, văn bản bổ sung hoặc logo khiến hệ thống nhầm lẫn.
• Rủi ro về quyền riêng tư và bảo mật dữ liệu: Việc lưu trữ dữ liệu phương tiện an toàn rất quan trọng. Các biện pháp bảo mật phù hợp có thể ngăn chặn truy cập trái phép và bảo vệ thông tin. Với các biện pháp bảo vệ thích hợp, hệ thống ANPR có thể vừa an toàn vừa đáng tin cậy.

Ultralytics YOLO11 cải thiện hệ thống ANPR như thế nào#

Ultralytics YOLO11 có thể giúp hệ thống ANPR nhanh và chính xác hơn. Model xử lý hình ảnh nhanh chóng trong khi vẫn duy trì độ chính xác và không yêu cầu năng lực tính toán lớn, vì vậy hoạt động tốt trên mọi thiết bị từ camera an ninh nhỏ đến các hệ thống giao thông quy mô lớn.

Với huấn luyện tùy chỉnh, Ultralytics YOLO11 có thể được điều chỉnh cho các kiểu biển số, ngôn ngữ và môi trường khác nhau. Model cũng hoạt động tốt trong những điều kiện khó khăn như ánh sáng yếu, nhòe do chuyển động và góc chụp phức tạp khi được huấn luyện tùy chỉnh trên các dataset chuyên biệt có chứa hình ảnh trong những điều kiện này.

Bằng cách xác định phương tiện ngay lập tức, Ultralytics YOLO11 giúp giảm thời gian chờ, ngăn ngừa lỗi và cải thiện an ninh. Điều này giúp giao thông lưu thông thuận lợi hơn và hoạt động hiệu quả hơn tại các bãi đỗ xe, trạm thu phí và hệ thống giám sát.

Xây dựng hệ thống ANPR với Ultralytics YOLO11 và GPT-4o Mini#

Tiếp theo, hãy cùng tìm hiểu cách xây dựng hệ thống ANPR bằng Ultralytics YOLO11 và GPT-4o Mini.

Chúng ta sẽ khám phá đoạn code được trình bày trong notebook Google Colab của Ultralytics dành cho giải pháp này. Notebook Google Colab dễ sử dụng và bất kỳ ai cũng có thể tạo hệ thống ANPR mà không cần thiết lập phức tạp.

Bước 1: Thiết lập môi trường#

Để bắt đầu, chúng ta cần cài đặt các dependency, tức những gói phần mềm và thư viện thiết yếu cần để chạy hệ thống ANPR. Các dependency này hỗ trợ những tác vụ như phát hiện đối tượng, xử lý hình ảnh và nhận dạng văn bản, đảm bảo hệ thống hoạt động hiệu quả.

Chúng ta sẽ cài đặt package Ultralytics Python như minh họa bên dưới. Package này cung cấp các model được huấn luyện sẵn, tiện ích huấn luyện và công cụ inference, giúp việc phát hiện và nhận dạng biển số bằng YOLO11 dễ dàng hơn.

Hình 2. Cài đặt package Ultralytics Python.

Chúng ta cũng cần thiết lập GPT-4o Mini để nhận dạng văn bản. Vì GPT-4o Mini chịu trách nhiệm trích xuất văn bản từ các biển số đã phát hiện, chúng ta cần API key để truy cập model. Bạn có thể lấy key này bằng cách đăng ký API GPT-4o Mini. Sau khi có key, bạn có thể thêm key vào notebook Colab để hệ thống kết nối với model và xử lý các số trên biển.

Sau khi hoàn tất thiết lập và chạy code cài đặt, Ultralytics YOLO11 sẽ sẵn sàng phát hiện biển số, còn GPT-4o Mini sẽ được thiết lập để nhận dạng và trích xuất văn bản từ chúng.

Bước 2: Tải xuống model được huấn luyện tùy chỉnh#

Sau khi mọi thứ đã được thiết lập, bước tiếp theo là tải xuống model Ultralytics YOLO11 đã được huấn luyện tùy chỉnh để phát hiện biển số. Vì model này đã được huấn luyện để phát hiện biển số nên không cần huấn luyện lại từ đầu. Bạn chỉ cần tải xuống là có thể sử dụng ngay. Điều này giúp tiết kiệm thời gian và đơn giản hóa quy trình đáng kể.

Chúng ta cũng sẽ tải xuống một file video mẫu để kiểm thử hệ thống. Nếu muốn, bạn cũng có thể chạy giải pháp này trên các file video của riêng mình. Sau khi tải xuống, các file model và video sẽ được lưu trong môi trường notebook.

Hình 3. Tải xuống model và file video.

Bước 3: Tải video và bắt đầu phát hiện#

Khi model đã sẵn sàng, đã đến lúc xem model hoạt động. Trước tiên, file video được tải để xử lý nhằm đảm bảo mở đúng cách. Sau đó, một video writer được thiết lập để lưu đoạn phim đã xử lý cùng các biển số được phát hiện, đồng thời duy trì kích thước và tốc độ khung hình ban đầu. Cuối cùng, model được tải để phát hiện biển số trong từng frame của video.

Hình 4. Đọc video và tải model.

Sau khi model được tải, hệ thống sẽ bắt đầu phân tích từng frame của video để phát hiện biển số. Khi tìm thấy biển số, hệ thống đánh dấu bằng một detection box, giúp dễ dàng xác định biển số. Bước này đảm bảo chỉ những chi tiết liên quan được thu thập, đồng thời loại bỏ thông tin nền không cần thiết. Khi các biển số đã được phát hiện thành công, video đã sẵn sàng cho giai đoạn tiếp theo.

Bước 4: Trích xuất văn bản từ biển số#

Sau khi phát hiện biển số, bước tiếp theo là nhận dạng văn bản. Trước tiên, hệ thống crop biển số từ frame video, loại bỏ các yếu tố gây phân tâm để có góc nhìn rõ ràng. Điều này giúp tập trung vào các chi tiết và cải thiện độ chính xác ngay cả trong những điều kiện khó khăn như ánh sáng yếu hoặc nhòe do chuyển động.

Sau khi tách riêng biển số, GPT-4o Mini sẽ phân tích hình ảnh, trích xuất các chữ số và chữ cái, rồi chuyển chúng thành văn bản có thể đọc được. Văn bản nhận dạng được sau đó sẽ được thêm trở lại video, gắn nhãn cho từng biển số được phát hiện theo thời gian thực.

Sau khi hoàn tất các bước này, hệ thống ANPR đã hoạt động đầy đủ và sẵn sàng nhận dạng biển số một cách dễ dàng.

Bước 5: Lưu video đã xử lý#

Bước cuối cùng là lưu video đã xử lý và dọn dẹp các file tạm, đảm bảo mọi thứ hoạt động trơn tru.

Mỗi frame đã xử lý, cùng với biển số được phát hiện và văn bản được nhận dạng, sẽ được ghi vào video đầu ra cuối cùng. Sau khi xử lý tất cả frame, hệ thống đóng file video đang được đọc, giải phóng bộ nhớ và tài nguyên hệ thống. Hệ thống cũng hoàn tất và lưu video đầu ra, giúp video sẵn sàng phát lại hoặc phân tích thêm.

Hình 5. Sử dụng YOLO11 và GPT-4o Mini cho ANPR.

Triển khai hệ thống ANPR#

Sau khi xây dựng và kiểm thử giải pháp ANPR, bước tiếp theo là triển khai giải pháp trong môi trường thực tế. Hầu hết model AI thị giác phụ thuộc vào năng lực tính toán hiệu năng cao, nhưng Ultralytics YOLO11 được tối ưu cho Edge AI. Model có thể chạy hiệu quả trên các thiết bị nhỏ mà không cần xử lý trên cloud hoặc kết nối Internet liên tục, trở thành lựa chọn phù hợp cho những địa điểm có tài nguyên hạn chế.

Ví dụ, một khu dân cư có cổng kiểm soát có thể triển khai Ultralytics YOLO11 trên thiết bị edge để xác định phương tiện khi chúng đi vào, loại bỏ nhu cầu sử dụng các server lớn. Mọi dữ liệu đều được xử lý tại chỗ theo thời gian thực, đảm bảo việc ra vào thuận lợi, giảm ùn tắc và tăng cường an ninh.

Hình 6. Phát hiện biển số bằng YOLO11.

Trong khi đó, tại những khu vực có kết nối Internet ổn định, ANPR trên cloud có thể xử lý đồng thời nhiều camera. Ví dụ, tại một trung tâm mua sắm, hệ thống có thể theo dõi phương tiện qua các lối vào khác nhau và lưu số biển vào một hệ thống trung tâm, giúp dễ dàng giám sát bãi đỗ xe, cải thiện an ninh và quản lý luồng phương tiện từ xa.

Tương lai của ANPR#

Việc thiết lập hệ thống nhận dạng biển số tự động (ANPR) trở nên đơn giản với Ultralytics YOLO11. Model phát hiện biển số chính xác và có thể được huấn luyện tùy chỉnh để thích ứng với các môi trường và yêu cầu khác nhau.

Các hệ thống ANPR tăng cường an ninh, tinh gọn hoạt động quản lý bãi đỗ xe và cải thiện việc giám sát giao thông. Bằng cách tự động hóa nhận dạng biển số, các hệ thống này giảm lỗi, tăng tốc độ xác định và giúp việc theo dõi phương tiện hiệu quả hơn trong nhiều ứng dụng.

Tham gia cộng đồng của chúng tôi và truy cập repository GitHub của chúng tôi để xem AI hoạt động trong thực tế. Khám phá các tùy chọn cấp phép của chúng tôi và tìm hiểu thêm về AI thị giác trong sản xuất cũng như AI trong xe tự lái trên các trang giải pháp của chúng tôi.