Xây dựng hệ thống ANPR với Ultralytics YOLO11 và GPT-4o Mini

Việc tìm chỗ đậu xe trong một bãi đậu xe đông đúc, chờ đợi ở hàng dài trạm thu phí hoặc bị kẹt tại các trạm kiểm soát an ninh là rất khó chịu. Kiểm tra xe thủ công thường mất quá nhiều thời gian và gây ra sự chậm trễ. Nếu không có hệ thống tự động, việc theo dõi xe hiệu quả có thể là một thách thức. 

Thị giác máy tính đã thay đổi điều này bằng cách cho phép nhận dạng biển số xe theo thời gian thực từ hình ảnh và luồng video. Ví dụ: Ultralytics YOLO11 là một mô hình thị giác máy tính tiên tiến có thể thực hiện các tác vụ Vision AI nâng cao như phát hiện đối tượng, phân loại và theo dõi. Sử dụng khả năng phát hiện đối tượng của YOLO11, bạn có thể phát hiện chính xác biển số xe trong hình ảnh. 

Ultralytics cung cấp notebook Google Colab toàn diện, giúp đơn giản hóa quy trình xây dựng các giải pháp hỗ trợ bởi Vision AI. Các notebook này được cấu hình sẵn với các dependency, mô hình và hướng dẫn từng bước cần thiết, giúp tạo ứng dụng dễ dàng hơn. Đặc biệt, có một Colab notebook chuyên dụng cho ANPR (Nhận dạng biển số xe tự động).

Trong bài viết này, sử dụng sổ tay Ultralytics Colab cho ANPR, chúng ta sẽ khám phá cách xây dựng giải pháp ANPR bằng Ultralytics YOLO11 để phát hiện biển số xe và GPT-4o Mini để nhận dạng văn bản. 

Tìm hiểu về ANPR 

Theo dõi xe hơi thủ công tốn thời gian và dễ xảy ra lỗi, đặc biệt khi chúng di chuyển nhanh. Kiểm tra từng biển số xe một làm chậm quá trình và tăng nguy cơ sai sót. Nhận dạng biển số xe tự động giải quyết vấn đề này bằng cách sử dụng thị giác máy tính để phát hiện và đọc biển số xe ngay lập tức, giúp giám sát giao thông và an ninh hiệu quả hơn.

Hệ thống ANPR có thể chụp ảnh hoặc quay video các phương tiện đang di chuyển và sử dụng object detection theo thời gian thực để xác định biển số xe. Sau khi được phát hiện, nhận dạng văn bản được sử dụng để tự động trích xuất số biển số mà không cần sự can thiệp của con người. Quy trình này đảm bảo kết quả chính xác, ngay cả khi xe đang di chuyển nhanh hoặc biển số bị che khuất một phần.

‍

Ngày nay, các trạm thu phí, hệ thống đỗ xe và cơ quan thực thi pháp luật ngày càng dựa vào ANPR để theo dõi xe một cách hiệu quả.

Những thách thức liên quan đến công nghệ ANPR

Mặc dù ANPR nhanh chóng xác định các phương tiện, nhưng vẫn có một số thách thức có thể ảnh hưởng đến độ chính xác của nó. Dưới đây là một vài vấn đề phổ biến có thể ảnh hưởng đến hiệu quả hoạt động của hệ thống ANPR:

• Ánh sáng yếu và thời tiết xấu: Biển số trở nên khó đọc hơn vào ban đêm và trong thời tiết xấu. Sương mù, mưa và ánh đèn pha có thể làm mờ văn bản, khiến nó không thể đọc được.
  ‍
• Biển số bị mờ hoặc bị che: Một chiếc xe di chuyển nhanh có thể để lại hình ảnh bị mờ, đặc biệt nếu tốc độ màn trập của máy ảnh quá chậm. Bụi bẩn, vết trầy xước hoặc các bộ phận của biển số bị che cũng có thể gây ra sự cố nhận dạng. Sử dụng máy ảnh chất lượng cao với cài đặt phù hợp giúp có được kết quả rõ ràng hơn.
  ‍
• Thiết kế biển số không nhất quán: Không phải tất cả các biển số đều giống nhau. Một số có phông chữ lạ mắt, văn bản bổ sung hoặc logo gây nhầm lẫn cho hệ thống.
  ‍
• Rủi ro về quyền riêng tư và bảo mật dữ liệu: Việc lưu trữ dữ liệu xe một cách an toàn là rất quan trọng. Các biện pháp bảo mật phù hợp có thể ngăn chặn truy cập trái phép và bảo vệ thông tin. Với các biện pháp bảo vệ thích hợp, hệ thống ANPR có thể vừa an toàn vừa đáng tin cậy.

Cách YOLO11 cải thiện hệ thống ANPR

Ultralytics YOLO11 có thể làm cho hệ thống ANPR nhanh hơn và chính xác hơn. Nó xử lý hình ảnh nhanh chóng trong khi vẫn duy trì độ chính xác và không yêu cầu sức mạnh tính toán lớn, vì vậy nó hoạt động tốt trên mọi thứ, từ camera an ninh nhỏ đến hệ thống giao thông lớn.

Với huấn luyện tùy chỉnh, YOLO11 có thể được điều chỉnh cho phù hợp với các kiểu biển số, ngôn ngữ và môi trường khác nhau. Nó cũng hoạt động tốt trong các điều kiện khó khăn như ánh sáng yếu, mờ do chuyển động và các góc khó khi được huấn luyện tùy chỉnh trên bộ dữ liệu chuyên biệt bao gồm hình ảnh về các điều kiện này.

Bằng cách xác định phương tiện ngay lập tức, YOLO11 giúp giảm thời gian chờ đợi, ngăn ngừa lỗi và cải thiện an ninh. Điều này làm cho luồng giao thông mượt mà hơn và các hoạt động hiệu quả hơn trong bãi đậu xe, trạm thu phí và hệ thống giám sát.

Xây dựng hệ thống ANPR với YOLO11 và GPT-4o Mini

Tiếp theo, hãy xem qua cách xây dựng hệ thống ANPR bằng YOLO11 và GPT-4o Mini. 

Chúng ta sẽ khám phá code được giới thiệu trong Ultralytics Google Collab notebook cho giải pháp này. Google Colab notebook rất dễ sử dụng và bất kỳ ai cũng có thể tạo một hệ thống ANPR mà không cần thiết lập phức tạp.

Bước 1: Thiết lập môi trường

Để bắt đầu, chúng ta cần cài đặt các phần phụ thuộc của mình, hoặc các gói phần mềm và thư viện thiết yếu cần thiết để chạy hệ thống ANPR của chúng ta. Các phần phụ thuộc này giúp thực hiện các tác vụ như phát hiện đối tượng, xử lý hình ảnh và nhận dạng văn bản, đảm bảo hệ thống hoạt động hiệu quả.

Chúng ta sẽ cài đặt gói Ultralytics Python như hình bên dưới. Gói này cung cấp các mô hình được huấn luyện trước, các tiện ích huấn luyện và các công cụ suy luận, giúp bạn dễ dàng phát hiện và nhận dạng biển số xe bằng YOLO11.

‍

Chúng ta cũng cần thiết lập GPT-4o Mini để nhận dạng văn bản. Vì GPT-4o Mini chịu trách nhiệm trích xuất văn bản từ các biển số xe được phát hiện, chúng ta cần một khóa API để truy cập mô hình. Khóa này có thể được lấy bằng cách đăng ký GPT-4o Mini API. Sau khi bạn có khóa, nó có thể được thêm vào sổ tay Colab để hệ thống có thể kết nối với mô hình và xử lý số biển số xe.

Sau khi hoàn tất thiết lập và chạy mã cài đặt, YOLO11 sẽ sẵn sàng phát hiện biển số xe và GPT-4o Mini sẽ được thiết lập để nhận dạng và trích xuất văn bản từ chúng.

Bước 2: Tải xuống mô hình đã được huấn luyện tùy chỉnh

Sau khi mọi thứ đã được thiết lập, bước tiếp theo là tải xuống mô hình YOLO11 đã được tùy chỉnh huấn luyện để phát hiện biển số xe. Vì mô hình này đã được huấn luyện để phát hiện biển số xe, nên không cần thiết phải huấn luyện lại từ đầu. Bạn chỉ cần tải xuống và nó đã sẵn sàng để sử dụng. Điều này giúp tiết kiệm thời gian và làm cho quy trình trở nên dễ dàng hơn nhiều.

Ngoài ra, chúng ta sẽ tải xuống một tệp video mẫu để kiểm tra hệ thống. Nếu bạn muốn, bạn cũng có thể chạy giải pháp này trên các tệp video của riêng bạn. Sau khi tải xuống, mô hình và các tệp video sẽ được lưu trữ trong môi trường notebook.

‍

Bước 3: Tải video và bắt đầu phát hiện

Sau khi mô hình đã sẵn sàng, đã đến lúc xem nó hoạt động. Đầu tiên, tệp video được tải để xử lý, đảm bảo nó mở chính xác. Sau đó, một trình ghi video được thiết lập để lưu cảnh quay đã xử lý với các biển số xe được phát hiện trong khi vẫn duy trì kích thước và tốc độ khung hình ban đầu. Cuối cùng, mô hình được tải để phát hiện biển số xe trong mỗi khung hình của video.

‍

Sau khi mô hình được tải, hệ thống sẽ bắt đầu phân tích từng khung hình của video để phát hiện biển số xe. Khi tìm thấy biển số, hệ thống sẽ đánh dấu nó bằng một hộp phát hiện, giúp bạn dễ dàng xác định. Bước này đảm bảo rằng chỉ những chi tiết liên quan mới được chụp, loại bỏ thông tin nền không cần thiết. Với việc các biển số được phát hiện thành công, video hiện đã sẵn sàng cho giai đoạn tiếp theo.

Bước 4: Trích xuất văn bản từ biển số xe

Sau khi phát hiện biển số, bước tiếp theo là nhận dạng văn bản. Hệ thống trước tiên cắt biển số từ khung hình video, loại bỏ mọi yếu tố gây xao nhãng để có cái nhìn rõ ràng. Điều này giúp tập trung vào các chi tiết, cải thiện độ chính xác ngay cả trong các điều kiện khó khăn như ánh sáng yếu hoặc mờ do chuyển động.

Sau khi xác định được biển số, GPT-4o Mini sẽ phân tích hình ảnh, trích xuất các chữ số và ký tự, rồi chuyển đổi chúng thành văn bản có thể đọc được. Văn bản được nhận dạng sau đó được thêm trở lại vào video, gắn nhãn từng biển số được phát hiện theo thời gian thực.

Với các bước này hoàn tất, hệ thống ANPR hoạt động đầy đủ và sẵn sàng nhận dạng biển số xe một cách dễ dàng. 

Bước 5: Lưu video đã xử lý

Bước cuối cùng lưu video đã xử lý và dọn dẹp các tệp tạm thời, đảm bảo mọi thứ chạy trơn tru. 

Mỗi khung hình được xử lý, với các biển số được phát hiện và văn bản được nhận dạng, được ghi vào video đầu ra cuối cùng. Sau khi tất cả các khung hình được xử lý, hệ thống sẽ đóng tệp video mà nó đang đọc, giải phóng bộ nhớ và tài nguyên hệ thống. Nó cũng hoàn thiện và lưu video đầu ra, giúp video sẵn sàng để phát lại hoặc phân tích thêm.

‍

Triển khai hệ thống ANPR

Sau khi xây dựng và thử nghiệm giải pháp ANPR, bước tiếp theo là triển khai nó trong môi trường thực tế. Hầu hết các mô hình Vision AI đều phụ thuộc vào điện toán hiệu năng cao, nhưng Ultralytics YOLO11 được tối ưu hóa cho Edge AI. Nó có thể chạy hiệu quả trên các thiết bị nhỏ mà không cần xử lý trên đám mây hoặc kết nối internet liên tục, khiến nó trở thành một lựa chọn tuyệt vời cho các địa điểm có nguồn lực hạn chế.

Ví dụ: một khu dân cư khép kín có thể triển khai YOLO11 trên một thiết bị biên để xác định các phương tiện khi chúng đi vào, loại bỏ nhu cầu về các máy chủ lớn. Mọi thứ được xử lý tại chỗ trong thời gian thực, đảm bảo truy cập suôn sẻ, giảm tắc nghẽn và tăng cường bảo mật.

‍

Trong khi đó, ở những khu vực có kết nối internet ổn định, ANPR dựa trên đám mây có thể xử lý đồng thời nhiều camera. Ví dụ: tại một trung tâm mua sắm, nó có thể theo dõi xe cộ ở các lối vào khác nhau và lưu trữ biển số xe trong một hệ thống trung tâm, giúp dễ dàng theo dõi bãi đậu xe, cải thiện an ninh và quản lý luồng xe từ xa.

Con đường phía trước cho ANPR

Thiết lập hệ thống nhận dạng biển số xe tự động (ANPR) rất đơn giản với Ultralytics YOLOv8. Nó phát hiện chính xác biển số xe và có thể được huấn luyện tùy chỉnh để thích ứng với các môi trường và yêu cầu khác nhau.

Hệ thống ANPR tăng cường an ninh, hợp lý hóa việc quản lý bãi đỗ xe và cải thiện việc giám sát giao thông. Bằng cách tự động hóa việc nhận dạng biển số xe, chúng giảm thiểu sai sót, tăng tốc độ nhận dạng và làm cho việc theo dõi xe hiệu quả hơn trong nhiều ứng dụng khác nhau.

Tham gia cộng đồng của chúng tôi và truy cập kho lưu trữ GitHub để xem AI hoạt động. Khám phá các tùy chọn cấp phép của chúng tôi và tìm hiểu thêm về thị giác AI trong sản xuất và AI trong xe tự lái trên các trang giải pháp của chúng tôi.