Trọng lượng mô hình

Trọng số mô hình là các tham số số trong mạng nơ-ron được điều chỉnh trong quá trình huấn luyện . Các giá trị này về cơ bản thể hiện kiến thức đã học của một mô hình. Hãy coi chúng như các hệ số trong một phương trình rất phức tạp; bằng cách điều chỉnh các hệ số này, mô hình học cách ánh xạ dữ liệu đầu vào, chẳng hạn như hình ảnh, thành đầu ra mong muốn, chẳng hạn như hộp giới hạn xung quanh một vật thể. Chất lượng trọng số của mô hình quyết định trực tiếp hiệu suất của nó trong một tác vụ nhất định, chẳng hạn như phân loại hình ảnh hoặc phát hiện vật thể .

Cách xác định trọng lượng

Trọng số mô hình không được thiết lập thủ công mà được "học" từ dữ liệu. Quá trình bắt đầu bằng việc khởi tạo các trọng số thành các số ngẫu nhiên nhỏ. Trong quá trình huấn luyện, mô hình đưa ra dự đoán dựa trên dữ liệu huấn luyện , và một hàm mất mát sẽ tính toán mức độ sai lệch của những dự đoán này. Tín hiệu lỗi này sau đó được sử dụng trong một quá trình gọi là lan truyền ngược để tính toán độ dốc của độ mất mát theo từng trọng số. Một thuật toán tối ưu hóa , chẳng hạn như Stochastic Gradient Descent (SGD) , sau đó điều chỉnh các trọng số theo hướng ngược lại với độ dốc để giảm thiểu lỗi. Chu kỳ này được lặp lại trong nhiều kỷ nguyên cho đến khi hiệu suất của mô hình trên một tập dữ liệu xác thực riêng biệt không còn được cải thiện, một dấu hiệu cho thấy nó đã học được các mẫu trong dữ liệu.

Tầm quan trọng của tạ được tập luyện trước

Việc huấn luyện một mô hình tiên tiến từ đầu đòi hỏi nguồn lực tính toán khổng lồ và bộ dữ liệu khổng lồ. Để khắc phục điều này, cộng đồng thị giác máy tính sử dụng rộng rãi các trọng số được huấn luyện trước . Điều này liên quan đến việc sử dụng một mô hình, chẳng hạn như mô hình Ultralytics YOLO , đã được huấn luyện trên một bộ dữ liệu lớn, đa năng như COCO . Các trọng số này đóng vai trò là điểm khởi đầu tuyệt vời cho một tác vụ mới, cụ thể thông qua một quy trình gọi là học chuyển giao . Bằng cách bắt đầu với các trọng số được huấn luyện trước, bạn có thể đạt được độ chính xác cao hơn với ít dữ liệu hơn và thời gian huấn luyện ngắn hơn thông qua một quy trình được gọi là tinh chỉnh .

Ứng dụng trong thế giới thực

• Phân tích hình ảnh y tế : Nhà phát triển có thể sử dụng mô hình YOLOv8 với các trọng số được đào tạo sẵn và tinh chỉnh nó trên một tập dữ liệu quét khối u não tùy chỉnh. Mô hình kết quả có các trọng số được tối ưu hóa đặc biệt để xác định các mô hình khối u tinh vi, hỗ trợ các bác sĩ X quang trong chẩn đoán. Đây là một ứng dụng quan trọng của AI trong chăm sóc sức khỏe .
• Quản lý Hàng tồn kho Bán lẻ : Một công ty bán lẻ có thể sử dụng mô hình để theo dõi kệ hàng và đếm sản phẩm. Mô hình phát hiện đối tượng được tinh chỉnh dựa trên hình ảnh sản phẩm trong cửa hàng. Trọng lượng cuối cùng cho phép mô hình phát hiện và đếm chính xác các mặt hàng cụ thể để theo dõi hàng tồn kho tự động .

Trọng lượng so với các khái niệm liên quan

Điều quan trọng là phải phân biệt trọng số mô hình với các thuật ngữ liên quan khác trong học máy :

• Siêu tham số : Không giống như trọng số được học, siêu tham số được cấu hình trước khi bắt đầu huấn luyện. Ví dụ bao gồm tốc độ học , kích thước lô và lựa chọn trình tối ưu hóa. Quá trình tìm cấu hình siêu tham số tốt nhất được gọi là điều chỉnh siêu tham số .
• Độ lệch : Trọng số và độ lệch đều là các tham số đã học. Tuy nhiên, trọng số điều chỉnh tỷ lệ đầu ra của một nơ-ron, trong khi độ lệch làm dịch chuyển đầu ra. Cùng nhau, chúng mang lại cho mạng nơ-ron sự linh hoạt để phù hợp với dữ liệu.
• Kiến trúc Mô hình : Kiến trúc (ví dụ: xương sống hoặc đầu phát hiện ) là bản thiết kế của mô hình—nó xác định các lớp và cách chúng được kết nối. Trọng số là các giá trị trong cấu trúc đó. Cùng một kiến trúc có thể có vô số tập trọng số khác nhau tùy thuộc vào cách nó được huấn luyện. Bạn có thể khám phá các so sánh mô hình khác nhau để xem các kiến trúc khác nhau như thế nào.

Quản lý và theo dõi trọng lượng

Khi các mô hình trở nên phức tạp hơn, việc quản lý trọng số của chúng và các thí nghiệm tạo ra chúng trở nên rất quan trọng đối với khả năng tái tạo và cộng tác. Các công cụ như Weights & Biases (W&B) cung cấp một nền tảng dành riêng cho MLOps , cho phép các nhóm theo dõi siêu tham số, số liệu, phiên bản mã và trọng số mô hình kết quả cho mỗi thí nghiệm. Điều quan trọng cần lưu ý là nền tảng "Weights & Biases" khác với các khái niệm "trọng số" và "bias" dưới dạng tham số trong mạng nơ-ron; nền tảng này giúp quản lý quá trình tìm trọng số và độ lệch tối ưu. Bạn có thể tìm hiểu thêm về việc tích hợp Ultralytics với W&B trong tài liệu . Quản lý hiệu quả là chìa khóa cho các tác vụ từ tinh chỉnh siêu tham số đến triển khai mô hình bằng các nền tảng như PyTorch hoặc TensorFlow . Các nền tảng như Ultralytics HUB cũng cung cấp các giải pháp tích hợp để quản lý toàn bộ vòng đời mô hình.