Tìm hiểu nhúng là gì và cách chúng hỗ trợ AI bằng cách nắm bắt các mối quan hệ ngữ nghĩa trong dữ liệu cho NLP, đề xuất và thị giác máy tính.
Trong lĩnh vực học máy (ML) và trí tuệ nhân tạo (AI) , nhúng là một kỹ thuật cơ bản để biểu diễn dữ liệu phức tạp—chẳng hạn như từ, câu, hình ảnh hoặc các mục khác—dưới dạng các vectơ số dày đặc trong không gian đa chiều. Sự biến đổi này được học từ dữ liệu, cho phép các thuật toán nắm bắt ý nghĩa ngữ nghĩa, bối cảnh hoặc các đặc điểm thiết yếu của đầu vào. Ưu điểm chính là các mục được coi là tương tự dựa trên dữ liệu đào tạo được ánh xạ tới các điểm gần đó trong "không gian nhúng" này, cho phép máy hiểu các mối quan hệ và mẫu phức tạp hiệu quả hơn nhiều so với các biểu diễn thưa thớt truyền thống như mã hóa one-hot.
Nhúng là các biểu diễn vectơ có chiều tương đối thấp đã học của các biến rời rạc (như từ) hoặc các đối tượng phức tạp (như hình ảnh hoặc hồ sơ người dùng). Không giống như các phương pháp như mã hóa one-hot tạo ra các vectơ thưa thớt, có chiều rất cao, trong đó mỗi chiều tương ứng với một mục duy nhất và thiếu thông tin mối quan hệ vốn có, nhúng là các vectơ dày đặc (thường có hàng chục đến hàng nghìn chiều) trong đó mỗi chiều góp phần biểu diễn các đặc điểm của mục. Quan trọng là, vị trí của các vectơ này trong không gian nhúng nắm bắt các mối quan hệ ngữ nghĩa. Ví dụ, trong nhúng từ, các từ có nghĩa tương tự hoặc được sử dụng trong các ngữ cảnh tương tự, như "vua" và "nữ hoàng" hoặc "đi bộ" và "chạy", sẽ có các vectơ gần nhau về mặt toán học (ví dụ: sử dụng Cosine Similarity ). Sự gần gũi này phản ánh sự giống nhau về mặt ngữ nghĩa đã học được từ dữ liệu.
Nhúng thường được tạo bằng cách sử dụng các mô hình mạng nơ-ron (NN) được đào tạo trên các tập dữ liệu lớn thông qua các kỹ thuật như học tự giám sát . Ví dụ, một kỹ thuật phổ biến cho nhúng từ, được minh họa bằng Word2Vec , liên quan đến việc đào tạo một mô hình để dự đoán một từ dựa trên các từ xung quanh (ngữ cảnh của nó) trong một ngữ liệu văn bản lớn. Trong quá trình đào tạo này, mạng điều chỉnh các tham số nội bộ của nó, bao gồm các vectơ nhúng cho mỗi từ, để giảm thiểu lỗi dự đoán thông qua các phương pháp như truyền ngược . Các vectơ kết quả mã hóa ngầm thông tin cú pháp và ngữ nghĩa. Số chiều trong không gian nhúng là một siêu tham số quan trọng, ảnh hưởng đến khả năng nắm bắt chi tiết của mô hình so với chi phí tính toán và rủi ro quá khớp . Việc trực quan hóa các không gian dữ liệu nhiều chiều này thường yêu cầu các kỹ thuật giảm chiều như t-SNE hoặc PCA , có thể được khám phá bằng các công cụ như Máy chiếu TensorFlow .
Nhúng là thành phần quan trọng trong nhiều hệ thống AI hiện đại trên nhiều lĩnh vực khác nhau:
Sẽ rất hữu ích khi phân biệt nhúng với các thuật ngữ liên quan:
Nhúng cung cấp một cách mạnh mẽ để biểu diễn dữ liệu cho các mô hình học máy, cho phép chúng hiểu được những điểm tương đồng về mặt ngữ nghĩa và các mẫu phức tạp trong nhiều loại dữ liệu khác nhau, từ văn bản đến hình ảnh. Chúng là công nghệ nền tảng thúc đẩy những tiến bộ trên nhiều ứng dụng AI và là một phần không thể thiếu trong khả năng của các khuôn khổ ML hiện đại như PyTorch và TensorFlow .
VI
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
TR
