Tối ưu hóa model là gì? Hướng dẫn nhanh

Tối ưu hóa model là quy trình nhằm cải thiện hiệu quả và hiệu suất của các model machine learning. Bằng cách tinh chỉnh cấu trúc và chức năng của model, quá trình tối ưu hóa giúp model tạo ra kết quả tốt hơn với mức tài nguyên tính toán tối thiểu, đồng thời giảm thời gian huấn luyện và đánh giá.

Quy trình này đặc biệt quan trọng trong các lĩnh vực như thị giác máy tính, nơi model thường cần nhiều tài nguyên để phân tích hình ảnh phức tạp. Trong các môi trường hạn chế tài nguyên như thiết bị di động hoặc hệ thống edge, model đã tối ưu có thể hoạt động tốt với nguồn lực hạn chế mà vẫn đảm bảo độ chính xác.

Một số kỹ thuật thường được sử dụng để tối ưu hóa model gồm tinh chỉnh siêu tham số, cắt tỉa model, lượng tử hóa model và độ chính xác hỗn hợp. Trong bài viết này, chúng ta sẽ tìm hiểu các kỹ thuật đó và lợi ích của chúng đối với các ứng dụng thị giác máy tính. Bắt đầu thôi!

Tìm hiểu về tối ưu hóa model#

Model thị giác máy tính thường có các layer sâu và cấu trúc phức tạp, rất phù hợp để nhận diện các mẫu hình tinh vi trong ảnh, nhưng cũng có thể đòi hỏi nhiều năng lực xử lý. Khi được triển khai trên thiết bị có phần cứng hạn chế như điện thoại di động hoặc thiết bị edge, các model này có thể gặp một số thách thức hoặc giới hạn.

Năng lực xử lý, bộ nhớ và năng lượng hạn chế trên những thiết bị này có thể khiến hiệu suất giảm rõ rệt do model khó theo kịp. Các kỹ thuật tối ưu hóa model đóng vai trò then chốt trong việc giải quyết những vấn đề này. Chúng giúp tinh gọn model, giảm nhu cầu tính toán và đảm bảo model vẫn hoạt động hiệu quả ngay cả khi tài nguyên hạn chế. Có thể tối ưu hóa model bằng cách đơn giản hóa kiến trúc model, giảm độ chính xác của phép tính hoặc loại bỏ các thành phần không cần thiết để model nhẹ hơn và nhanh hơn.

Hình 1. Lý do cần tối ưu hóa model. Hình ảnh do tác giả cung cấp.

Sau đây là một số kỹ thuật tối ưu hóa model phổ biến nhất, sẽ được tìm hiểu chi tiết hơn trong các phần tiếp theo:

• Tinh chỉnh siêu tham số: Kỹ thuật này điều chỉnh có hệ thống các siêu tham số, chẳng hạn như learning rate và batch size, để cải thiện hiệu suất model.
• Cắt tỉa model: Kỹ thuật này loại bỏ các weight và kết nối không cần thiết khỏi mạng nơ-ron, giúp giảm độ phức tạp và chi phí tính toán.
• Lượng tử hóa model: Lượng tử hóa làm giảm độ chính xác của weight và activation trong model, thường từ 32-bit xuống 16-bit hoặc 8-bit, qua đó giảm đáng kể dung lượng bộ nhớ và yêu cầu tính toán.
• Điều chỉnh độ chính xác: Còn được gọi là huấn luyện với độ chính xác hỗn hợp, kỹ thuật này sử dụng các định dạng độ chính xác khác nhau cho từng phần của model để tối ưu hóa việc sử dụng tài nguyên mà không ảnh hưởng đến độ chính xác.

Giải thích về siêu tham số trong model machine learning#

Bạn có thể giúp model học và hoạt động tốt hơn bằng cách tinh chỉnh siêu tham số — các thiết lập định hình cách model học từ dữ liệu. Tinh chỉnh siêu tham số là kỹ thuật tối ưu hóa các thiết lập này, giúp cải thiện hiệu quả và độ chính xác của model. Khác với các tham số mà model tự học trong quá trình huấn luyện, siêu tham số là các giá trị được thiết lập trước để định hướng quá trình huấn luyện.

Hãy cùng xem một số ví dụ về siêu tham số có thể tinh chỉnh:

• Learning rate: Tham số này kiểm soát kích thước bước mà model thực hiện để điều chỉnh các weight nội bộ. Learning rate cao hơn có thể tăng tốc độ học nhưng có nguy cơ bỏ lỡ nghiệm tối ưu, trong khi learning rate thấp hơn có thể cho kết quả chính xác hơn nhưng chậm hơn.
• Batch size: Tham số này xác định số lượng mẫu dữ liệu được xử lý trong mỗi bước huấn luyện. Batch size lớn hơn giúp quá trình học ổn định hơn nhưng cần nhiều bộ nhớ hơn. Batch size nhỏ hơn giúp huấn luyện nhanh hơn nhưng có thể kém ổn định.
• Epoch: Tham số này xác định số lần model xử lý toàn bộ tập dữ liệu. Nhiều epoch hơn có thể cải thiện độ chính xác nhưng có nguy cơ overfitting.
• Kích thước kernel: Tham số này xác định kích thước bộ lọc trong mạng nơ-ron tích chập (CNN). Kernel lớn hơn nắm bắt các mẫu hình rộng hơn nhưng cần nhiều năng lực xử lý hơn; kernel nhỏ hơn tập trung vào các chi tiết tinh hơn.

Cách thức hoạt động của tinh chỉnh siêu tham số#

Tinh chỉnh siêu tham số thường bắt đầu bằng việc xác định phạm vi các giá trị có thể có cho từng siêu tham số. Sau đó, thuật toán tìm kiếm sẽ thử các tổ hợp khác nhau trong những phạm vi này để tìm ra thiết lập mang lại hiệu suất tốt nhất.

Các phương pháp tinh chỉnh phổ biến gồm tìm kiếm lưới, tìm kiếm ngẫu nhiên và tối ưu hóa Bayes. Tìm kiếm lưới kiểm thử mọi tổ hợp giá trị có thể có trong phạm vi đã xác định. Tìm kiếm ngẫu nhiên chọn các tổ hợp một cách ngẫu nhiên và thường tìm được thiết lập hiệu quả nhanh hơn. Tối ưu hóa Bayes sử dụng model xác suất để dự đoán các giá trị siêu tham số tiềm năng dựa trên kết quả trước đó. Cách tiếp cận này thường giúp giảm số lần thử cần thiết.

Cuối cùng, hiệu suất của model được đánh giá cho từng tổ hợp siêu tham số. Quy trình được lặp lại cho đến khi đạt được kết quả mong muốn.

Siêu tham số và tham số của model#

Khi tinh chỉnh siêu tham số, bạn có thể thắc mắc điểm khác biệt giữa siêu tham số và tham số của model là gì.

Siêu tham số là các giá trị được thiết lập trước khi huấn luyện, nhằm kiểm soát cách model học, chẳng hạn như learning rate hoặc batch size. Các thiết lập này được giữ cố định trong quá trình huấn luyện và ảnh hưởng trực tiếp đến quá trình học. Ngược lại, tham số của model được chính model học trong quá trình huấn luyện. Những tham số này gồm weight và bias, được điều chỉnh khi model huấn luyện và cuối cùng định hướng dự đoán của model. Nói ngắn gọn, siêu tham số định hình quá trình học, còn tham số của model là kết quả của quá trình học đó.

Hình 2. So sánh tham số và siêu tham số.

Tầm quan trọng của cắt tỉa model trong deep learning#

Cắt tỉa model là kỹ thuật giảm kích thước bằng cách loại bỏ weight và tham số không cần thiết khỏi model, giúp model hoạt động hiệu quả hơn. Trong thị giác máy tính, đặc biệt với mạng nơ-ron sâu, số lượng lớn tham số như weight và activation (đầu ra trung gian hỗ trợ tính toán đầu ra cuối cùng) có thể làm tăng cả độ phức tạp lẫn yêu cầu tính toán. Cắt tỉa giúp tinh gọn model bằng cách xác định và loại bỏ các tham số đóng góp rất ít vào hiệu suất, từ đó tạo ra model nhẹ và hiệu quả hơn.

Hình 3. Trước và sau khi cắt tỉa model.

Sau khi model được huấn luyện, các kỹ thuật như cắt tỉa dựa trên độ lớn hoặc phân tích độ nhạy có thể đánh giá tầm quan trọng của từng tham số. Sau đó, các tham số ít quan trọng sẽ được cắt tỉa bằng một trong ba kỹ thuật chính: cắt tỉa weight, cắt tỉa neuron hoặc cắt tỉa có cấu trúc.

Cắt tỉa weight loại bỏ các kết nối riêng lẻ có tác động tối thiểu đến đầu ra. Cắt tỉa neuron loại bỏ toàn bộ neuron có đầu ra đóng góp rất ít vào chức năng của model. Cắt tỉa có cấu trúc loại bỏ các phần lớn hơn, chẳng hạn như bộ lọc tích chập hoặc neuron trong các layer kết nối đầy đủ, để tối ưu hóa hiệu quả của model. Sau khi hoàn tất cắt tỉa, model được huấn luyện lại để tinh chỉnh các tham số còn lại, đảm bảo model vẫn đạt độ chính xác cao dù có kích thước nhỏ hơn.

Giảm độ trễ của model AI bằng lượng tử hóa#

Lượng tử hóa model làm giảm số bit dùng để biểu diễn weight và activation của model. Quá trình này thường chuyển các giá trị dấu phẩy động 32-bit có độ chính xác cao sang định dạng có độ chính xác thấp hơn, chẳng hạn như số nguyên 16-bit hoặc 8-bit. Bằng cách giảm số bit biểu diễn, lượng tử hóa giúp giảm đáng kể kích thước model, dung lượng bộ nhớ và chi phí tính toán.

Trong thị giác máy tính, số thực 32-bit là tiêu chuẩn, nhưng chuyển sang 16-bit hoặc 8-bit có thể cải thiện hiệu quả. Có hai loại lượng tử hóa chính: lượng tử hóa weight và lượng tử hóa activation. Lượng tử hóa weight giảm độ chính xác của weight trong model, cân bằng giữa việc giảm kích thước và độ chính xác. Lượng tử hóa activation giảm độ chính xác của activation, qua đó tiếp tục giảm yêu cầu về bộ nhớ và tính toán.

Hình 4. Ví dụ về lượng tử hóa từ số thực 32 bit sang số nguyên 8 bit.

Cách độ chính xác hỗn hợp tăng tốc suy luận AI#

Độ chính xác hỗn hợp là kỹ thuật sử dụng các mức độ chính xác số học khác nhau cho từng phần của mạng nơ-ron. Bằng cách kết hợp các giá trị có độ chính xác cao hơn, chẳng hạn số thực 32 bit, với các giá trị có độ chính xác thấp hơn, như số thực 16 bit hoặc 8 bit, độ chính xác hỗn hợp giúp model thị giác máy tính tăng tốc quá trình huấn luyện và giảm mức sử dụng bộ nhớ mà không làm giảm độ chính xác.

Trong quá trình huấn luyện, độ chính xác hỗn hợp được thực hiện bằng cách sử dụng độ chính xác thấp hơn ở một số layer cụ thể, đồng thời duy trì độ chính xác cao hơn ở những nơi cần thiết trong mạng. Việc này được thực hiện thông qua chuyển đổi kiểu dữ liệu và scale loss. Chuyển đổi kiểu dữ liệu thay đổi kiểu dữ liệu giữa các mức độ chính xác khác nhau theo yêu cầu của model. Scale loss điều chỉnh độ chính xác giảm để ngăn hiện tượng underflow số học, đảm bảo quá trình huấn luyện ổn định. Độ chính xác hỗn hợp đặc biệt hữu ích với các model lớn và batch size lớn.

Hình 5. Huấn luyện độ chính xác hỗn hợp sử dụng cả kiểu dấu phẩy động 16 bit (FP16) và 32 bit (FP32).

Cân bằng độ chính xác và hiệu quả của model#

Sau khi tìm hiểu một số kỹ thuật tối ưu hóa model, hãy cùng thảo luận cách chọn kỹ thuật phù hợp với nhu cầu cụ thể của bạn. Lựa chọn này phụ thuộc vào các yếu tố như phần cứng hiện có, giới hạn tính toán và bộ nhớ của môi trường triển khai, cũng như mức độ chính xác cần thiết.

Ví dụ, các model nhỏ hơn và nhanh hơn phù hợp hơn với thiết bị di động có tài nguyên hạn chế, trong khi các model lớn hơn, chính xác hơn có thể được sử dụng trên các hệ thống hiệu năng cao. Sau đây là cách mỗi kỹ thuật đáp ứng các mục tiêu khác nhau:

• Cắt tỉa: Đây là lựa chọn lý tưởng để giảm kích thước model mà không ảnh hưởng đáng kể đến độ chính xác, rất phù hợp với các thiết bị hạn chế tài nguyên như điện thoại di động hoặc thiết bị Internet vạn vật (IoT).
• Lượng tử hóa: Lựa chọn hiệu quả để thu nhỏ model và tăng tốc suy luận, đặc biệt trên thiết bị di động và hệ thống nhúng có bộ nhớ và năng lực xử lý hạn chế. Phương pháp này phù hợp với các ứng dụng chấp nhận được mức giảm độ chính xác nhỏ.
• Độ chính xác hỗn hợp: Kỹ thuật này dành cho các model quy mô lớn, giúp giảm mức sử dụng bộ nhớ và tăng tốc huấn luyện trên phần cứng như GPU và TPU hỗ trợ các phép toán độ chính xác hỗn hợp. Phương pháp này thường được dùng cho các tác vụ hiệu năng cao, nơi hiệu quả là yếu tố quan trọng.
• Tinh chỉnh siêu tham số: Dù đòi hỏi nhiều tài nguyên tính toán, kỹ thuật này rất cần thiết cho các ứng dụng yêu cầu độ chính xác cao, chẳng hạn như chẩn đoán hình ảnh y khoa hoặc lái xe tự hành.

Điểm chính cần ghi nhớ#

Tối ưu hóa model là một phần thiết yếu của machine learning, đặc biệt khi triển khai AI trong các ứng dụng thực tế. Những kỹ thuật như tinh chỉnh siêu tham số, cắt tỉa model, lượng tử hóa và độ chính xác hỗn hợp giúp cải thiện hiệu năng, hiệu quả và mức sử dụng tài nguyên của các model thị giác máy tính. Các phương pháp tối ưu hóa này giúp model chạy nhanh hơn và tiêu tốn ít tài nguyên hơn, rất phù hợp với thiết bị có bộ nhớ và năng lực xử lý hạn chế. Model đã tối ưu cũng dễ mở rộng quy mô và triển khai trên nhiều nền tảng khác nhau, tạo điều kiện xây dựng các giải pháp AI hiệu quả và thích ứng với nhiều mục đích sử dụng.

Truy cập kho GitHub của Ultralytics và tham gia cộng đồng để tìm hiểu thêm về các ứng dụng AI trong sản xuất và nông nghiệp.