Khám phá cách nền tảng AI liên kết các khái niệm trừu tượng với dữ liệu thực tế, nâng cao ngữ cảnh, độ chính xác và độ tin cậy trong các ứng dụng động.
Nền tảng trong trí tuệ nhân tạo đề cập đến quá trình thiết yếu của việc kết nối thông tin trừu tượng, như ngôn ngữ hoặc ký hiệu, với dữ liệu cảm giác cụ thể, thực tế, chẳng hạn như hình ảnh hoặc âm thanh. Nó cho phép các hệ thống AI xây dựng sự hiểu biết có ý nghĩa về thế giới bằng cách liên kết các khái niệm mà chúng xử lý nội bộ (ví dụ: các từ trong mô tả văn bản) với những thứ chúng cảm nhận thông qua các cảm biến (ví dụ: các đối tượng trong nguồn cấp dữ liệu camera). Khả năng này là cơ bản để tạo ra AI có thể tương tác thông minh và theo ngữ cảnh với môi trường của nó, vượt ra ngoài nhận dạng mẫu đơn giản để đạt được một hình thức hiểu gần hơn với cách con người liên kết các từ với các đối tượng và hành động. Nền tảng đặc biệt quan trọng đối với các mô hình đa phương thức xử lý nhiều loại dữ liệu cùng một lúc, thu hẹp khoảng cách giữa các phương thức thông tin khác nhau như văn bản và thị giác.
Việc nối đất đặc biệt quan trọng đối với các mô hình ngôn ngữ thị giác (VLM), chẳng hạn như mô hình YOLO -World , nhằm mục đích thu hẹp khoảng cách giữa nhận thức thị giác và hiểu ngôn ngữ tự nhiên (NLU) . Không giống như phát hiện đối tượng truyền thống, thường xác định các đối tượng thuộc về một tập hợp các danh mục được xác định trước (như 'ô tô', 'người', 'chó'), việc nối đất cho phép các mô hình định vị các đối tượng dựa trên các mô tả văn bản dạng tự do. Ví dụ, thay vì chỉ phát hiện "người" và "xe đạp", một VLM nối đất có thể phản hồi truy vấn "tìm người đội mũ bảo hiểm màu đỏ đi xe đạp màu xanh" bằng cách định vị cụ thể cấu hình đối tượng đó trong một khung hình ảnh hoặc video. Điều này liên quan đến việc liên kết các khái niệm văn bản ("người", "mũ bảo hiểm màu đỏ", "đi xe đạp", "xe đạp màu xanh") với các pixel tương ứng và các mối quan hệ không gian trong dữ liệu trực quan. Khả năng kết nối ngôn ngữ với các chi tiết trực quan cụ thể này giúp tăng cường sự hiểu biết theo ngữ cảnh và có liên quan chặt chẽ đến những tiến bộ trong tìm kiếm ngữ nghĩa , trong đó ý nghĩa, không chỉ là từ khóa, thúc đẩy việc truy xuất thông tin.
Nền tảng cho phép các ứng dụng AI tương tác và tinh vi hơn trên nhiều lĩnh vực khác nhau:
Việc đạt được sự tiếp đất hiệu quả thường dựa vào các kỹ thuật học sâu (DL) tiên tiến. Các cơ chế chú ý , đặc biệt là sự chú ý liên phương thức, giúp các mô hình tập trung vào các phần có liên quan của cả đầu vào văn bản (ví dụ: các từ cụ thể trong lời nhắc) và đầu vào cảm giác (ví dụ: các vùng cụ thể trong hình ảnh). Các mạng biến áp , được sử dụng rộng rãi trong xử lý ngôn ngữ tự nhiên (NLP) , thường được điều chỉnh cho các tác vụ đa phương thức liên quan đến tiếp đất, như được thấy trong các mô hình như CLIP . Việc đào tạo các mô hình này đòi hỏi các tập dữ liệu có chú thích lớn, chất lượng cao với các chú thích liên kết rõ ràng giữa văn bản và các thành phần trực quan, làm nổi bật tầm quan trọng của các hoạt động gắn nhãn dữ liệu tốt, thường được quản lý thông qua các nền tảng như Ultralytics HUB . Các kỹ thuật như học tương phản cũng được sử dụng để dạy các mô hình liên kết các cặp văn bản và hình ảnh tương ứng một cách hiệu quả, thường sử dụng các khuôn khổ như PyTorch hoặc TensorFlow .
Phát triển khả năng tiếp đất mạnh mẽ phải đối mặt với một số thách thức. Xử lý tính mơ hồ và tính biến thiên vốn có của ngôn ngữ tự nhiên là rất khó. Việc tạo ra các tập dữ liệu có chú thích chính xác, quy mô lớn cần thiết đòi hỏi nhiều công sức và chi phí. Các nguồn lực tính toán cần thiết để đào tạo các mô hình đa phương thức phức tạp, thường liên quan đến đào tạo phân tán hoặc đào tạo đám mây , có thể rất lớn. Đảm bảo các mô hình có thể thực hiện tiếp đất hiệu quả để suy luận theo thời gian thực cũng là một rào cản đáng kể đối với việc triển khai thực tế. Nghiên cứu vẫn tiếp tục trong các lĩnh vực như học không có lần thử và học ít lần thử để cải thiện khả năng khái quát hóa đối với các mô tả đối tượng chưa thấy và giảm sự phụ thuộc vào dữ liệu, với công việc đang diễn ra thường được tìm thấy trên các nền tảng như arXiv .
Nền tảng vẫn là ranh giới quan trọng trong AI, thúc đẩy các hệ thống hướng tới sự hiểu biết sâu sắc hơn, có thể hành động hơn về thế giới, phản ánh chặt chẽ hơn nhận thức của con người và cho phép tương tác tự nhiên hơn giữa con người và AI.
VI
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
TR
