Thuật ngữ

BERT (Biểu diễn bộ mã hóa hai chiều từ máy biến áp)

Khám phá BERT, Google Mô hình NLP mang tính cách mạng. Tìm hiểu cách hiểu ngữ cảnh hai chiều của nó chuyển đổi các tác vụ AI như tìm kiếm và chatbot.

Xe lửa YOLO mô hình đơn giản
với Ultralytics TRUNG TÂM

Tìm hiểu thêm

BERT, viết tắt của Bidirectional Encoder Representations from Transformers, là một kỹ thuật quan trọng cho quá trình đào tạo trước Natural Language Processing (NLP) do các nhà nghiên cứu tại Google AI Language phát triển. Được giới thiệu vào năm 2018 thông qua bài báo có sức ảnh hưởng " BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ", BERT đã cách mạng hóa cách máy móc hiểu ngôn ngữ của con người. Đây là một trong những biểu diễn ngôn ngữ không giám sát, song hướng sâu đầu tiên, được đào tạo trước chỉ bằng một ngữ liệu văn bản thuần túy như Wikipedia . BERT tận dụng kiến trúc Transformer mạnh mẽ, cụ thể là phần mã hóa, để xử lý các từ liên quan đến tất cả các từ khác trong một câu đồng thời, thay vì tuần tự. Điều này cho phép hiểu sâu hơn về ngữ cảnh so với các mô hình đơn hướng trước đây.

Bert hoạt động như thế nào

Không giống như các mô hình trước đó xử lý văn bản theo một hướng duy nhất (từ trái sang phải hoặc từ phải sang trái), BERT xử lý toàn bộ chuỗi từ cùng một lúc bằng bộ mã hóa Transformer và cơ chế tự chú ý . Cách tiếp cận hai chiều này cho phép nó nắm bắt ngữ cảnh của một từ dựa trên các từ xung quanh, cả trước và sau nó. Ví dụ, BERT có thể phân biệt nghĩa của "ngân hàng" trong "Tôi cần đến ngân hàng để rút tiền mặt" so với " Bờ sông lầy lội" bằng cách xem xét ngữ cảnh câu đầy đủ.

BERT học các mối quan hệ ngôn ngữ phức tạp này trong giai đoạn tiền đào tạo trên một lượng lớn dữ liệu văn bản. Điều này bao gồm hai nhiệm vụ chính không được giám sát:

  1. Mô hình ngôn ngữ che giấu (MLM): Một số phần trăm mã thông báo đầu vào (từ hoặc từ phụ) được che giấu ngẫu nhiên (ẩn) và mô hình học cách dự đoán các mã thông báo che giấu này dựa trên ngữ cảnh của chúng.
  2. Dự đoán câu tiếp theo (NSP): Mô hình nhận được cặp câu và học cách dự đoán xem câu thứ hai có phải là câu tiếp theo thực sự theo sau câu đầu tiên trong văn bản gốc hay chỉ là một câu ngẫu nhiên.

Kết quả của quá trình đào tạo trước này là một mô hình với các nhúng ngôn ngữ phong phú nắm bắt cú pháp và ngữ nghĩa. Mô hình BERT được đào tạo trước này sau đó có thể được điều chỉnh nhanh chóng hoặc ' tinh chỉnh ' cho nhiều tác vụ NLP hạ lưu cụ thể khác nhau bằng cách sử dụng các tập dữ liệu nhỏ hơn, cụ thể cho từng tác vụ. Quá trình tận dụng kiến thức được đào tạo trước này là một hình thức học chuyển giao .

Các tính năng và lợi ích chính

  • Bối cảnh song hướng sâu: Đổi mới chính của BERT là khả năng hiểu bối cảnh của một từ bằng cách xem xét cả những từ đứng trước và sau nó cùng một lúc. Điều này dẫn đến sự hiểu biết phong phú và chính xác hơn nhiều về sắc thái ngôn ngữ so với các mô hình đơn hướng như các phiên bản đầu của GPT .
  • Hiệu suất tiên tiến: Sau khi phát hành, BERT đã đạt được kết quả tiên tiến trên nhiều tiêu chuẩn NLP, bao gồm trả lời câu hỏi (như tập dữ liệu SQuAD ) và các nhiệm vụ Hiểu ngôn ngữ tự nhiên (NLU) .
  • Transfer Learning Powerhouse: Các mô hình được đào tạo trước của BERT đóng vai trò là nền tảng mạnh mẽ. Bằng cách tinh chỉnh BERT trên các tác vụ cụ thể như phân tích tình cảm hoặc Nhận dạng thực thể có tên (NER) , các nhà phát triển có thể đạt được hiệu suất cao với dữ liệu và thời gian đào tạo cụ thể cho tác vụ ít hơn đáng kể so với đào tạo mô hình từ đầu.
  • Tính khả dụng rộng rãi: Các mô hình BERT được đào tạo trước có thể dễ dàng truy cập thông qua các nền tảng như Hugging Face và có thể được sử dụng với các khuôn khổ Học sâu (DL) phổ biến như PyTorchTensorFlow .

Ứng dụng trong thế giới thực

Khả năng hiểu các sắc thái ngôn ngữ của BERT đã dẫn đến những cải tiến đáng kể trong nhiều ứng dụng Trí tuệ nhân tạo (AI) thực tế:

  • Công cụ tìm kiếm: Google Tìm kiếm nổi tiếng với BERT để hiểu rõ hơn các truy vấn của người dùng, đặc biệt là các truy vấn hội thoại hoặc phức tạp, dẫn đến kết quả tìm kiếm có liên quan hơn. Như đã giải thích trong bài đăng trên Blog AI Google , BERT giúp nắm bắt ý định đằng sau các tìm kiếm như "bạn có thể lấy thuốc cho ai đó không hiệu thuốc" bằng cách hiểu tầm quan trọng của các giới từ như "for" và "to".
  • Chatbot và Trợ lý ảo: BERT nâng cao khả năng của chatbottrợ lý ảo trong việc hiểu chính xác hơn yêu cầu của người dùng, duy trì ngữ cảnh trong các cuộc trò chuyện và cung cấp phản hồi hữu ích hơn trong dịch vụ khách hàng, hệ thống đặt phòng và truy xuất thông tin.
  • Phân tích tình cảm: Các doanh nghiệp sử dụng mô hình dựa trên BERT để phân tích đánh giá của khách hàng, bình luận trên mạng xã hội và phản hồi khảo sát để đánh giá dư luận và phản hồi về sản phẩm với độ chính xác cao hơn.
  • Tóm tắt văn bản và trả lời câu hỏi: BERT có thể được tinh chỉnh để tạo ra các hệ thống tự động tóm tắt các tài liệu dài ( tóm tắt văn bản ) hoặc trả lời các câu hỏi dựa trên một đoạn văn bản nhất định.

Trong khi BERT chủ yếu được sử dụng trong NLP, kiến trúc Transformer mà nó phổ biến cũng đã truyền cảm hứng cho những tiến bộ trong Computer Vision (CV) , chẳng hạn như Vision Transformers (ViT) được sử dụng trong các mô hình như RT-DETR . Các nền tảng như Ultralytics HUB tạo điều kiện thuận lợi cho việc đào tạotriển khai nhiều mô hình AI khác nhau, bao gồm cả những mô hình được xây dựng trên nguyên tắc Transformer.

Đọc tất cả