Tìm kiếm ngữ nghĩa

Tìm kiếm ngữ nghĩa hoạt động như thế nào

Về bản chất, tìm kiếm ngữ nghĩa tận dụng các khái niệm từ NLP và Học máy (ML) để giải mã ý nghĩa được nhúng trong văn bản hoặc các loại dữ liệu khác. Quá trình này thường liên quan đến việc chuyển đổi dữ liệu (như từ, câu, tài liệu hoặc thậm chí là hình ảnh) thành các biểu diễn số được gọi là nhúng . Các nhúng này, thường là các vectơ có chiều cao, nắm bắt được bản chất ngữ nghĩa của dữ liệu. Các mục có ý nghĩa, khái niệm hoặc ngữ cảnh tương tự được đặt gần nhau hơn trong không gian vectơ này.

Khi người dùng thực hiện tìm kiếm, truy vấn của họ (có thể là văn bản ngôn ngữ tự nhiên, hình ảnh, v.v.) cũng được chuyển đổi thành nhúng bằng cùng một mô hình ML. Sau đó, hệ thống sử dụng các kỹ thuật tìm kiếm vectơ , thường được hỗ trợ bởi các cơ sở dữ liệu vectơ chuyên dụng như Pinecone hoặc Milvus , để tìm hiệu quả các mục trong chỉ mục của nó có nhúng gần nhất (giống nhất) với nhúng truy vấn. Độ tương đồng này thường được đo bằng các số liệu khoảng cách như độ tương đồng cosin hoặc khoảng cách Euclid . Các mô hình học sâu (DL) nâng cao, bao gồm các kiến trúc như bộ chuyển đổi (ví dụ: BERT ), thường được sử dụng để tạo ra các nhúng mạnh mẽ, có nhận thức về ngữ cảnh này. Các công cụ tìm kiếm lớn như Google Search đã kết hợp hiểu biết ngữ nghĩa trong nhiều năm để cải thiện chất lượng kết quả vượt ra ngoài tần suất từ khóa đơn giản.

Ứng dụng của Tìm kiếm ngữ nghĩa

Tìm kiếm ngữ nghĩa cải thiện nhiều ứng dụng khác nhau mà ở đó việc hiểu ý định của người dùng hoặc bối cảnh dữ liệu là rất quan trọng:

• Tìm kiếm trên web nâng cao: Không chỉ tìm kiếm từ khóa mà còn hiểu chủ đề và mục đích tìm kiếm (ví dụ: tìm kiếm "nơi tốt nhất để ngắm cực quang phương Bắc vào mùa đông" sẽ trả về kết quả về các địa điểm cụ thể và thời gian lý tưởng, chứ không chỉ các trang chứa chính xác những từ đó).
• Khám phá sản phẩm thương mại điện tử: Cho phép người dùng tìm kiếm sản phẩm bằng ngôn ngữ tự nhiên, mô tả (ví dụ: tìm "giày thoải mái để đứng cả ngày" thay vì cần biết tên sản phẩm hoặc thương hiệu cụ thể). Điều này thường tích hợp với hệ thống đề xuất .
• Quản lý kiến thức nội bộ: Cho phép nhân viên trong tổ chức tìm kiếm tài liệu, báo cáo hoặc chuyên môn có liên quan bằng cách tìm kiếm dựa trên khái niệm và ý nghĩa, cải thiện khả năng truy cập thông tin trong các công cụ như Ultralytics HUB .
• Chatbot hỗ trợ khách hàng: Cung cấp năng lượng cho chatbot và trợ lý ảo để hiểu câu hỏi của người dùng tốt hơn và cung cấp câu trả lời chính xác hơn hoặc các bài viết trợ giúp có liên quan, thường tận dụng Mô hình ngôn ngữ lớn (LLM) .
• Đề xuất nội dung: Đề xuất các bài viết, video hoặc nhạc dựa trên sự tương đồng về mặt ngữ nghĩa với nội dung mà người dùng đã tương tác trước đó. Các nền tảng như Spotify sử dụng các khái niệm tương tự.
• Khám phá dữ liệu: Các công cụ như Ultralytics Explorer Dashboard có thể sử dụng tính tương đồng về mặt ngữ nghĩa để giúp người dùng điều hướng và hiểu các tập dữ liệu lớn, bao gồm các tập dữ liệu hình ảnh được sử dụng trong thị giác máy tính (CV) . Ví dụ, tìm hình ảnh có tính tương đồng về mặt ngữ nghĩa với hình ảnh đã chọn trong tập dữ liệu như COCO .

Tìm kiếm ngữ nghĩa so với các khái niệm liên quan

Sẽ rất hữu ích khi phân biệt tìm kiếm ngữ nghĩa với các thuật ngữ liên quan:

• Tìm kiếm theo từ khóa: Phương pháp truyền thống này khớp các từ hoặc cụm từ theo nghĩa đen trong truy vấn với các tài liệu chứa các thuật ngữ chính xác đó. Nó thiếu sự hiểu biết về từ đồng nghĩa, ngữ cảnh hoặc ý định của người dùng. Tìm kiếm ngữ nghĩa nhằm khắc phục những hạn chế này.
• Tìm kiếm vectơ : Đây là phương pháp được sử dụng để tìm các mục tương tự dựa trên sự gần gũi của các nhúng vectơ của chúng. Trong khi tìm kiếm vectơ là thành phần cốt lõi của nhiều triển khai tìm kiếm ngữ nghĩa hiện đại (xử lý phần truy xuất hiệu quả), tìm kiếm ngữ nghĩa là khái niệm rộng hơn bao gồm việc hiểu ý nghĩa và ngữ cảnh của truy vấn và dữ liệu ngay từ đầu, thường thông qua các mô hình NLP phức tạp.
• Biểu đồ tri thức : Biểu đồ tri thức cấu trúc thông tin dưới dạng các thực thể và mối quan hệ. Mặc dù nó có thể cải thiện đáng kể tìm kiếm ngữ nghĩa bằng cách cung cấp ngữ cảnh có cấu trúc và cho phép suy luận phức tạp ( truy vấn SPARQL phổ biến ở đây), tìm kiếm ngữ nghĩa cũng có thể hoạt động trực tiếp trên dữ liệu không có cấu trúc bằng cách nhúng mà không có cấu trúc biểu đồ rõ ràng. Chúng là các công nghệ bổ sung.
• Nhận dạng thực thể có tên (NER) : NER xác định các thực thể cụ thể (như tên, địa điểm, tổ chức) trong văn bản. Nó có thể là một bước trong đường ống NLP đưa vào tìm kiếm ngữ nghĩa bằng cách trích xuất các khái niệm chính, nhưng nó không phải là tìm kiếm ngữ nghĩa, tập trung vào ý nghĩa và sự tương đồng tổng thể.

Tìm kiếm ngữ nghĩa đóng vai trò quan trọng trong việc tạo ra các hệ thống AI thông minh hơn và thân thiện với người dùng hơn, thu hẹp khoảng cách giữa ngôn ngữ con người và khả năng hiểu biết của máy móc để truy cập thông tin và tương tác hiệu quả hơn trên nhiều lĩnh vực, từ tìm kiếm trên web hàng ngày đến các ứng dụng AI chuyên biệt như những ứng dụng được xây dựng bằng mô hình Ultralytics YOLO để tìm kiếm hoặc phân tích trực quan trong Ultralytics HUB .