Trải nghiệm Google Gemini 2.5 với các tác vụ thị giác máy tính

AI đang phát triển nhanh chóng, với những đổi mới mới liên tục xuất hiện trên các trang tin gần như mỗi ngày. Một bước đột phá như vậy là Gemini 2.5, một model đa phương thức của Google DeepMind ra mắt ngày 26 tháng 3 năm 2025. Trong khi mô hình ngôn ngữ lớn (LLM) truyền thống có thể học từ lượng dữ liệu khổng lồ để tạo văn bản giống con người, Gemini 2.5 còn vượt xa khả năng đó.

Model này được thiết kế như một “model tư duy”, có khả năng xử lý hình ảnh, âm thanh và video. Model có khả năng suy luận và lập trình được cải thiện. Đáng chú ý, model cũng hoạt động tốt với các tác vụ thị giác máy tính, trong đó máy móc diễn giải và phân tích dữ liệu hình ảnh, chẳng hạn như phát hiện đối tượng, tạo chú thích ảnh và nhận dạng ký tự quang học (OCR).

Hình 1. Ví dụ về việc sử dụng Gemini 2.5 để hiểu nội dung của hình ảnh.

Trong bài viết này, chúng ta sẽ tìm hiểu một trong các notebook của Ultralytics, có thể giúp bạn trải nghiệm thực tế các khả năng thị giác máy tính của Gemini 2.5. Chúng ta cũng sẽ xem xét kỹ hơn các tính năng chính của Gemini 2.5 và giới thiệu cách sử dụng model này để xây dựng giải pháp thị giác máy tính cho các ứng dụng thực tế.

Tổng quan về Gemini 2.5: tính năng và năng lực#

Phiên bản đầu tiên được phát hành trong dòng model Gemini 2.5 là bản thử nghiệm Gemini 2.5 Pro. Model được thiết kế để xử lý các vấn đề phức tạp bằng cách suy nghĩ thấu đáo trước khi đưa ra câu trả lời. Model sử dụng các phương pháp như học tăng cường (trong đó model học từ phản hồi) và prompting theo chuỗi suy nghĩ (cách tiếp cận giải quyết vấn đề từng bước).

Một trong những tính năng chính của model là cửa sổ ngữ cảnh rất lớn, có thể chứa 1 triệu token (xấp xỉ một triệu từ hoặc phần của từ) và dự kiến sẽ mở rộng lên 2 triệu. Điều này có nghĩa là model có thể tiếp nhận nhiều thông tin cùng lúc, từ đó tạo ra kết quả chi tiết và chính xác hơn.

Ngoài xử lý ngôn ngữ, Gemini 2.5 còn có thể được dùng cho các tác vụ thị giác máy tính sau:

• Phát hiện đối tượng: Đây là quá trình xác định và định vị đối tượng trong ảnh. Công nghệ này có thể được dùng trong các ứng dụng như giám sát hoặc xe tự lái.
• Tạo chú thích ảnh: Tác vụ này tạo văn bản mô tả cho một hình ảnh. Nhờ đó, nội dung trực quan trở nên dễ tiếp cận và dễ hiểu hơn.
• Nhận dạng ký tự quang học: Công nghệ này chuyển văn bản trong hình ảnh thành văn bản có thể chỉnh sửa và máy đọc được. Công nghệ này hữu ích trong việc số hóa tài liệu và tự động hóa nhập dữ liệu.

Đánh giá benchmark và so sánh Google Gemini 2.5 với các model khác#

Hiện nay có nhiều model đa phương thức trong lĩnh vực AI, vì vậy việc hiểu Gemini 2.5 Pro so sánh với các model này như thế nào là rất quan trọng. Theo kết quả benchmark do DeepMind của Google công bố, Gemini 2.5 Pro cho thấy hiệu suất ấn tượng trên nhiều tác vụ.

Chẳng hạn, trong bài kiểm tra Humanity’s Last Exam, mô phỏng một kỳ thi khó bao quát nhiều môn học và đánh giá khả năng lập luận nâng cao cùng kiến thức tổng quát, Gemini 2.5 Pro đạt khoảng 18.8%, cao hơn các model như o3-mini của OpenAI, vốn đạt khoảng 14%.

Hình 2. Tổng quan về hiệu suất benchmark của Gemini 2.5 Pro.

Model cũng xử lý rất tốt các thử thách về toán học và lập trình, thường đạt kết quả ngang bằng hoặc vượt các model như OpenAI GPT-4.5, Claude 3.7 Sonnet, Grok 3 Beta và DeepSeek R1, cho thấy khả năng xử lý tác vụ phức tạp và lượng lớn dữ liệu. Với khả năng phát hiện đối tượng, các model Gemini mới hơn như Gemini 4 Argon và Gemini 3.8 Flash được so sánh với các model đa phương thức khác trên Bảng xếp hạng VLM.

Trải nghiệm thực tế với Gemini 2.5: Cách sử dụng Google Gemini API#

Gemini 2.5 Pro có mặt trên nhiều nền tảng. Bạn có thể thử nghiệm model này trong Google AI Studio và truy cập qua ứng dụng Gemini nếu là người dùng Gemini Advanced. Trong thông báo ra mắt, Google DeepMind cũng cho biết model sẽ được hỗ trợ trên Vertex AI. Các phương thức truy cập này giúp nhà phát triển dễ dàng sử dụng Gemini 2.5 Pro cho những ứng dụng AI thực tế.

Tuy nhiên, nếu bạn muốn sử dụng Google Gemini API và bắt đầu chỉ trong vài phút mà không cần thiết lập phức tạp, đồng thời muốn hiểu rõ hơn về các khả năng thị giác máy tính của model, hãy xem notebook của Ultralytics minh họa các tác vụ như phát hiện đối tượng và tạo chú thích ảnh bằng Gemini 2.5 Pro. Hãy cùng tìm hiểu chi tiết những gì bạn có thể mong đợi trong notebook.

Thiết lập suy luận với notebook Google Gemini 2.5#

Để bắt đầu với notebook Ultralytics và sử dụng Google Gemini 2.5, trước tiên bạn cần tạo API key thông qua Google AI Studio. Key này cấp cho bạn quyền truy cập Gemini API để sử dụng model.

Sau khi có API key, hãy đảm bảo môi trường đã cài đặt các thư viện cần thiết, bao gồm các package của Ultralytics và bộ công cụ AI của Google. Notebook trình bày rõ bước này, vì vậy bạn có thể dễ dàng làm theo hướng dẫn để thiết lập workspace.

Sau khi cấu hình xong, bạn có thể kết nối với Gemini API bằng cách nhập API key (như minh họa bên dưới), thao tác này tạo liên kết giữa workspace và model. Sau đó, bạn đã sẵn sàng gửi ảnh và prompt văn bản đến Gemini 2.5.

Về cơ bản, bạn có thể cung cấp cho model một hình ảnh cùng chỉ dẫn đơn giản (chẳng hạn như “phát hiện đối tượng trong hình ảnh này” hoặc “mô tả những gì bạn thấy”), rồi model sẽ trả về kết quả cần thiết. Quy trình đơn giản này giúp bạn dễ dàng bắt đầu khám phá các khả năng thị giác máy tính của Gemini 2.5.

Phát hiện đối tượng với Google Gemini 2.5#

Một trong những ví dụ chính trong notebook là phát hiện đối tượng bằng Gemini 2.5 Pro. Trong ví dụ này, bạn cung cấp cho model một hình ảnh và prompt đơn giản để phát hiện đối tượng.

Model xử lý hình ảnh và trả về tập hợp tọa độ cùng nhãn cho từng đối tượng được tìm thấy; các tọa độ này ở dạng chuẩn hóa. Sau đó, các hàm trong package Python của Ultralytics được dùng để chuyển đổi các giá trị chuẩn hóa này cho khớp với kích thước thực tế của hình ảnh và vẽ các bounding box rõ ràng quanh từng đối tượng, như minh họa bên dưới.

Hình 3. Sử dụng Google Gemini 2.5 để phát hiện đối tượng.

Tạo chú thích ảnh bằng Gemini 2.5#

Một ví dụ thú vị khác trong notebook là tạo chú thích ảnh bằng Gemini 2.5 Pro. Trong ví dụ này, bạn cung cấp cho model một hình ảnh và prompt yêu cầu tạo chú thích chi tiết mô tả nội dung trong ảnh.

Sau đó, model phân tích nội dung trực quan và trả về phần mô tả, thường được định dạng thành nhiều câu, thể hiện cả nội dung lẫn ngữ cảnh của hình ảnh. Tính năng này hữu ích để cải thiện khả năng tiếp cận, tóm tắt thông tin trực quan và thậm chí hỗ trợ kể chuyện sáng tạo.

Cải thiện độ chính xác OCR bằng các model Google Gemini#

OCR là một tác vụ thị giác máy tính khai thác khả năng đọc văn bản trong hình ảnh của Gemini 2.5 Pro. Trong notebook, bạn có thể cung cấp cho model một hình ảnh có chứa văn bản cùng prompt yêu cầu trích xuất văn bản đó. Model xử lý hình ảnh và trả về cả văn bản được phát hiện lẫn tọa độ vị trí của văn bản, như minh họa bên dưới.

Sau đó, các hàm trong package Python của Ultralytics được dùng để chuyển đổi các tọa độ chuẩn hóa sang kích thước thực tế của hình ảnh và vẽ bounding box quanh các vùng chứa văn bản. Kết quả được chú thích này cho thấy rõ vị trí của văn bản, rất hữu ích cho việc số hóa tài liệu, tự động hóa nhập liệu và cải thiện khả năng tiếp cận.

Hình 4. Trích xuất dữ liệu văn bản trong hình ảnh bằng Google Gemini 2.5.

Ứng dụng thực tế của Google Gemini 2.5#

Giờ đây, sau khi đã tìm hiểu cách sử dụng Google Gemini 2.5 Pro cho nhiều tác vụ thị giác máy tính, hãy cùng khám phá một số ứng dụng thực tế của các khả năng này.

Chẳng hạn, khả năng phát hiện đối tượng của Gemini 2.5 Pro có thể giúp tự động gắn nhãn và sắp xếp các tập hợp ảnh lớn, giúp những tác vụ như tạo dataset hoặc quản lý nội dung nhanh hơn nhiều. Model cũng có thể phân tích hình ảnh trong các lĩnh vực như bán lẻ và nông nghiệp, chẳng hạn phát hiện sản phẩm trên kệ hoặc nhận biết dấu hiệu cây trồng bị căng thẳng trong ảnh chụp trang trại.

Hình 5. Gemini 2.5 Pro phân tích tình trạng sức khỏe của cây.

Trong khi đó, tính năng tạo chú thích ảnh của model có thể giúp người khiếm thị hiểu nội dung trong hình ảnh. Ví dụ, nếu bạn có ảnh chụp một con phố đông đúc, model có thể tạo chú thích mô tả chi tiết khung cảnh, nêu các loại phương tiện, hoạt động của người đi bộ và thậm chí cả thời điểm trong ngày dựa trên dấu hiệu ánh sáng.

Ngoài ra, chức năng OCR của Gemini 2.5 có thể được sử dụng trong nhiều ứng dụng. Chẳng hạn, bạn có thể số hóa tài liệu in bằng cách quét trang giấy hoặc hóa đơn. Khả năng này phù hợp để tự động hóa các tác vụ nhập liệu, xử lý biểu mẫu hoặc thậm chí đọc văn bản trên danh thiếp và biển báo.

Nhìn chung, Google Gemini 2.5 Pro mở ra nhiều cơ hội cho các ứng dụng AI thiết thực.

Điểm chính cần ghi nhớ#

Ngoài việc tạo và phân tích văn bản, Google Gemini 2.5 Pro có thể thực hiện các tác vụ thị giác máy tính như phát hiện đối tượng, tạo chú thích ảnh và OCR. Với context window lớn cùng khả năng suy luận được cải thiện, model tạo ra kết quả chi tiết, nhận biết ngữ cảnh và hoạt động hiệu quả trong các tình huống thực tế.

Khi các model AI tiếp tục phát triển, những công cụ như Gemini 2.5 Pro giúp giải quyết các vấn đề phức tạp trong nhiều ngành dễ dàng hơn. AI có thể sẽ được ứng dụng rộng rãi hơn khi ngày càng nhiều tổ chức tìm kiếm các giải pháp đa phương thức linh hoạt, có thể xử lý nhiều tác vụ khác nhau, từ hiểu nội dung trực quan đến xử lý ngôn ngữ.

Hãy tham gia cộng đồng của chúng tôi và tìm hiểu về các dự án AI trong repository GitHub của chúng tôi. Xem các ứng dụng của AI thị giác trong nông nghiệp và vai trò của AI trong sản xuất trên các trang giải pháp của chúng tôi. Khám phá các gói cấp phép và bắt đầu xây dựng giải pháp thị giác máy tính ngay hôm nay!