Người dài

Longformer là một mô hình tiên tiến dựa trên Transformer được thiết kế để xử lý hiệu quả các tài liệu rất dài. Được phát triển bởi các nhà nghiên cứu tại Viện Allen về AI , cải tiến chính của nó là cơ chế chú ý có thể mở rộng tuyến tính theo độ dài chuỗi, không giống như cơ chế mở rộng bậc hai của các mô hình Transformer tiêu chuẩn như BERT. Hiệu quả này cho phép thực hiện các tác vụ Xử lý Ngôn ngữ Tự nhiên (NLP) phức tạp trên các văn bản chứa hàng nghìn hoặc thậm chí hàng chục nghìn mã thông báo, vốn là rào cản về mặt tính toán đối với các kiến trúc trước đó.

Longformer hoạt động như thế nào

Cốt lõi hiệu quả của Longformer nằm ở mô hình chú ý độc đáo, thay thế cơ chế tự chú ý hoàn toàn của một Transformer tiêu chuẩn. Thay vì mỗi token phải chú ý đến từng token khác, Longformer kết hợp hai loại chú ý:

• Cửa sổ trượt (Cục bộ) Chú ý: Hầu hết các mã thông báo chỉ chú ý đến một số lượng cố định các mã thông báo lân cận ở mỗi bên. Điều này nắm bắt ngữ cảnh cục bộ, tương tự như cách người đọc hiểu các từ dựa trên các từ xung quanh chúng. Phương pháp này được lấy cảm hứng từ sự thành công của Mạng nơ-ron tích chập (CNN) trong việc tận dụng các mẫu cục bộ.
• Sự chú ý toàn cầu: Một số lượng nhỏ các mã thông báo được chọn trước được chỉ định để có sự chú ý toàn cục, nghĩa là chúng có thể xử lý tất cả các mã thông báo khác trong toàn bộ chuỗi. Các mã thông báo "toàn cục" này hoạt động như những đơn vị thu thập thông tin cấp cao từ toàn bộ tài liệu. Đối với từng tác vụ cụ thể tinh chỉnh, các mã thông báo toàn cầu này thường được lựa chọn một cách chiến lược, chẳng hạn như [CLS] mã thông báo cho nhiệm vụ phân loại.

Sự kết hợp này mang lại sự cân bằng giữa hiệu quả tính toán và việc nắm bắt các mối quan hệ dài hạn cần thiết để hiểu các tài liệu phức tạp. Nghiên cứu ban đầu được trình bày chi tiết trong bài báo " Longformer: The Long-Document Transformer ".

Ứng dụng trong AI và Học máy

Khả năng xử lý chuỗi dài của Longformer mở ra nhiều khả năng cho nhiều ứng dụng trước đây không thực tế.

• Phân tích tài liệu dài: Nó có thể thực hiện các tác vụ như tóm tắt văn bản hoặc trả lời câu hỏi cho toàn bộ sách, bài nghiên cứu dài hoặc tài liệu pháp lý phức tạp. Ví dụ: một công ty công nghệ pháp lý có thể sử dụng mô hình dựa trên Longformer để tự động quét hàng nghìn trang tài liệu khám phá nhằm tìm kiếm bằng chứng liên quan.
• Hệ thống đối thoại và Chatbot: Trong ngữ cảnh chatbot hoặc trợ lý ảo, Longformer có thể duy trì lịch sử hội thoại lâu hơn nhiều, dẫn đến các tương tác mạch lạc hơn và có nhận thức về ngữ cảnh trong thời gian dài.
• Genomics và Tin sinh học: Kiến trúc của nó rất phù hợp để phân tích các chuỗi DNA hoặc protein dài, giúp các nhà nghiên cứu xác định các mẫu và chức năng trong các tập dữ liệu di truyền khổng lồ. Một phòng thí nghiệm nghiên cứu có thể áp dụng nó để tìm các chuỗi gen cụ thể trong toàn bộ nhiễm sắc thể.

Các mô hình Longformer được đào tạo trước có sẵn rộng rãi trên các nền tảng như Hugging Face , cho phép các nhà phát triển điều chỉnh chúng cho nhiều tác vụ khác nhau.

So sánh với các thuật ngữ liên quan

Longformer là một trong số nhiều mô hình được thiết kế để khắc phục những hạn chế của máy biến áp tiêu chuẩn đối với chuỗi dài.

• Standard Transformer: Sự khác biệt chính nằm ở cơ chế chú ý. Mô hình chú ý hiệu quả của Longformer được thiết kế cho các chuỗi dài, trong khi khả năng tự chú ý hoàn toàn trong Transformers tiêu chuẩn lại quá tốn bộ nhớ và tính toán cho các đầu vào dài.
• Reformer : Một công cụ chuyển đổi hiệu quả khác, Reformer sử dụng các kỹ thuật như chú ý băm nhạy cảm vị trí (LSH) và các lớp đảo ngược để giảm thiểu việc sử dụng tài nguyên. Mặc dù cả hai đều nhắm đến các chuỗi dài, nhưng chúng sử dụng các chiến lược kỹ thuật khác nhau để đạt được hiệu quả.
• Transformer-XL : Mô hình này giới thiệu tính năng lặp lại và nhúng vị trí tương đối để quản lý các ngữ cảnh dài hơn, đặc biệt hiệu quả cho các tác vụ tự hồi quy như tạo văn bản . Ngược lại, Longformer được thiết kế để xử lý một tài liệu dài duy nhất với ngữ cảnh hai chiều chỉ trong một lần xử lý.

Mặc dù các mô hình NLP này khác với các mô hình thị giác máy tính (CV) như Ultralytics YOLO , vốn xuất sắc trong các tác vụ như phát hiện đối tượng , nhưng động lực hướng đến hiệu quả tính toán vẫn là một chủ đề chung. Những cải tiến giúp giảm độ phức tạp, như trong Longformer, đóng vai trò quan trọng trong việc biến các mô hình học sâu mạnh mẽ thành công cụ thiết thực cho suy luận thời gian thực và triển khai mô hình trên nhiều phần cứng khác nhau. Việc quản lý các mô hình tiên tiến này có thể được đơn giản hóa bằng các nền tảng như Ultralytics HUB .