Cách sử dụng Ultralytics YOLOv5 với Comet

Tại Ultralytics, chúng tôi hợp tác thương mại với các startup khác để giúp tài trợ cho việc nghiên cứu và phát triển các công cụ mã nguồn mở tuyệt vời của mình, như YOLOv5, nhằm giữ cho chúng miễn phí cho mọi người. Bài viết này có thể chứa các liên kết tiếp thị liên kết đến những đối tác đó.

Đối tác mới nhất của chúng tôi, Comet, xây dựng các công cụ giúp các nhà khoa học dữ liệu, kỹ sư và trưởng nhóm tăng tốc và tối ưu hóa các model machine learning và deep learning.

Comet là một công cụ mạnh mẽ để theo dõi model, dataset và các metric của bạn. Nó thậm chí còn ghi lại các biến hệ thống và môi trường để đảm bảo khả năng tái tạo và gỡ lỗi mượt mà cho mọi lần chạy. Nó giống như việc có một trợ lý ảo tự động biết cần ghi lại những gì. Theo dõi và trực quan hóa các metric của model theo thời gian thực, lưu các hyperparameter, dataset và model checkpoint, đồng thời trực quan hóa dự đoán của model với Comet Custom Panels!

Hơn nữa, Comet đảm bảo bạn không bao giờ mất dấu công việc của mình và giúp việc chia sẻ kết quả cũng như cộng tác giữa các nhóm ở mọi quy mô trở nên dễ dàng!

YOLOv5 là điểm khởi đầu tuyệt vời cho hành trình thị giác máy tính của bạn. Để cải thiện hiệu suất của model và đưa nó vào môi trường production, bạn cần ghi lại kết quả trong một công cụ theo dõi thử nghiệm như Comet.

Tích hợp giữa Comet và YOLOv5 cung cấp 3 tính năng chính:

• Các tính năng tự động ghi nhật ký và ghi nhật ký tùy chỉnh
• Lưu các tập dữ liệu và model dưới dạng artifacts để phục vụ việc gỡ lỗi và đảm bảo tính tái lập
• Tổ chức chế độ xem của bạn với các bảng điều khiển tùy chỉnh của Comet

Hướng dẫn này sẽ đề cập đến cách sử dụng YOLOv5 với Comet.

Vậy, bạn đã sẵn sàng theo dõi các thử nghiệm của mình trong thời gian thực chưa? Hãy bắt đầu thôi!

Bắt đầu#

Cài đặt Comet#

pip install comet_ml

Cấu hình thông tin xác thực Comet#

Có hai cách để cấu hình Comet với YOLOv5.

Bạn có thể thiết lập thông tin xác thực của mình thông qua các biến môi trường hoặc tạo một tệp .comet.config trong thư mục làm việc và thiết lập thông tin xác thực tại đó.

Các biến môi trường#

export COMET_API_KEY=<Your API Key>
export COMET_PROJECT_NAME=<Your Comet Project Name> # This will default to 'yolov5'

Tệp cấu hình Comet#

[comet]
api_key=<Your API Key>
project_name=<Your Comet Project Name> # This will default to 'yolov5'

Chạy tập lệnh huấn luyện#

# Train YOLOv5s on COCO128 for 5 epochs
python train.py --img 640 --batch 16 --epochs 5 --data coco128.yaml --weights yolov5s.pt

Thế là xong!

Comet sẽ tự động ghi lại các tham số siêu cấp, các đối số dòng lệnh, cũng như các số liệu huấn luyện và xác thực. Bạn có thể trực quan hóa và phân tích các lần chạy của mình trong giao diện người dùng (UI) của Comet.

Hãy tự mình trải nghiệm!#

Xem ví dụ về một lần chạy đã hoàn thành tại đây.

Hoặc tuyệt vời hơn, hãy tự mình thử nghiệm trong Colab Notebook này.

Tự động ghi nhật ký#

Theo mặc định, Comet sẽ ghi lại các mục sau:

Số liệu#

• Box Loss, Object Loss và Classification Loss cho dữ liệu huấn luyện và xác thực
• Các số liệu mAP_0.5, mAP_0.5:0.95 cho dữ liệu xác thực
• Độ chính xác (Precision) và Độ thu hồi (Recall) cho dữ liệu xác thực

Tham số#

• Các tham số siêu cấp (Hyperparameters) của model
• Tất cả các tham số được truyền qua các tùy chọn dòng lệnh

Trực quan hóa#

• Ma trận nhầm lẫn (Confusion Matrix) của các dự đoán model trên dữ liệu xác thực
• Các biểu đồ cho đường cong PR và F1 trên tất cả các lớp
• Correlogram của các nhãn lớp

Cấu hình ghi nhật ký Comet#

Comet có thể được cấu hình để ghi lại dữ liệu bổ sung thông qua các cờ dòng lệnh được truyền tới tập lệnh huấn luyện hoặc các biến môi trường.

export COMET_MODE=online # Set whether to run Comet in 'online' or 'offline' mode. Defaults to online
export COMET_MODEL_NAME=<your model name> # Set the name for the saved model. Defaults to yolov5
export COMET_LOG_CONFUSION_MATRIX=false # Set to disable logging a Comet Confusion Matrix. Defaults to true
export COMET_MAX_IMAGE_UPLOADS=<number of allowed images to upload to Comet> # Controls how many total image predictions to log to Comet. Defaults to 100.
export COMET_LOG_PER_CLASS_METRICS=true # Set to log evaluation metrics for each detected class at the end of training. Defaults to false
export COMET_DEFAULT_CHECKPOINT_FILENAME=<your checkpoint filename> # Set this if you would like to resume training from a different checkpoint. Defaults to 'last.pt'
export COMET_LOG_BATCH_LEVEL_METRICS=true # Set this if you would like to log training metrics at the batch level. Defaults to false.
export COMET_LOG_PREDICTIONS=true # Set this to false to disable logging model predictions

Ghi nhật ký các Checkpoint với Comet#

Việc ghi lại các model vào Comet bị vô hiệu hóa theo mặc định. Để bật tính năng này, hãy truyền đối số save-period vào tập lệnh huấn luyện. Thao tác này sẽ lưu các checkpoint đã ghi vào Comet dựa trên giá trị khoảng thời gian được cung cấp bởi save-period.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --save-period 1

Ghi lại các dự đoán của model#

Theo mặc định, các dự đoán của model (hình ảnh, nhãn thực tế và hộp giới hạn) sẽ được ghi vào Comet. Bạn có thể kiểm soát tần suất của các dự đoán được ghi và các hình ảnh liên quan bằng cách truyền đối số dòng lệnh bbox_interval. Các dự đoán có thể được trực quan hóa bằng Bảng điều khiển tùy chỉnh Phát hiện đối tượng (Object Detection Custom Panel) của Comet. Tần suất này tương ứng với mỗi lô (batch) dữ liệu thứ N trên mỗi epoch. Trong ví dụ bên dưới, chúng tôi đang ghi lại mỗi lô dữ liệu thứ 2 cho mỗi epoch.

Lưu ý: Trình tải dữ liệu xác thực YOLOv5 sẽ mặc định là kích thước lô là 32, vì vậy bạn sẽ phải thiết lập tần suất ghi nhật ký cho phù hợp.

Dưới đây là một dự án mẫu sử dụng Panel.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 2

Kiểm soát số lượng hình ảnh dự đoán được ghi vào Comet#

Khi ghi các dự đoán từ YOLOv5, Comet sẽ ghi lại các hình ảnh liên quan đến từng tập hợp dự đoán. Theo mặc định, tối đa 100 hình ảnh xác thực được ghi lại. Bạn có thể tăng hoặc giảm con số này bằng cách sử dụng biến môi trường COMET_MAX_IMAGE_UPLOADS.

env COMET_MAX_IMAGE_UPLOADS=200 python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --bbox_interval 1

Ghi nhật ký số liệu ở cấp độ lớp#

Sử dụng biến môi trường COMET_LOG_PER_CLASS_METRICS để ghi lại mAP, độ chính xác, độ thu hồi và f1 cho mỗi lớp.

env COMET_LOG_PER_CLASS_METRICS=true python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt

Tải tập dữ liệu lên Comet Artifacts#

Nếu bạn muốn lưu trữ dữ liệu của mình bằng cách sử dụng Comet Artifacts, bạn có thể làm như vậy bằng cách sử dụng cờ upload_dataset.

Dataset được tổ chức theo cách được mô tả trong tài liệu YOLOv5. File cấu hình dataset yaml phải tuân theo cùng định dạng với file coco128.yaml.

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data coco128.yaml \
  --weights yolov5s.pt \
  --upload_dataset

Bạn có thể tìm thấy tập dữ liệu đã tải lên trong tab Artifacts trong Không gian làm việc Comet của mình

Bạn có thể xem trước dữ liệu trực tiếp trong giao diện người dùng của Comet.

Artifacts được đánh phiên bản và cũng hỗ trợ thêm siêu dữ liệu về tập dữ liệu. Comet sẽ tự động ghi lại siêu dữ liệu từ tệp yaml tập dữ liệu của bạn.

Sử dụng một Artifact đã lưu#

Nếu bạn muốn sử dụng tập dữ liệu từ Comet Artifacts, hãy đặt biến đường dẫn trong tệp yaml tập dữ liệu của bạn trỏ đến URL tài nguyên Artifact sau đây.

# contents of artifact.yaml file
path: "comet://<workspace name>/<artifact name>:<artifact version or alias>"

Sau đó truyền tệp này vào tập lệnh huấn luyện của bạn theo cách sau:

python train.py \
  --img 640 \
  --batch 16 \
  --epochs 5 \
  --data artifact.yaml \
  --weights yolov5s.pt

Artifacts cũng cho phép bạn theo dõi nguồn gốc của dữ liệu khi nó đi qua quy trình Thử nghiệm của bạn. Tại đây, bạn có thể thấy một biểu đồ hiển thị cho bạn tất cả các thử nghiệm đã sử dụng tập dữ liệu đã tải lên của bạn.

Tiếp tục một lần chạy huấn luyện#

Nếu lần chạy huấn luyện của bạn bị gián đoạn vì bất kỳ lý do gì, ví dụ như kết nối internet bị mất, bạn có thể tiếp tục lần chạy đó bằng cách sử dụng cờ resume và Comet Run Path.

Đường dẫn Run có định dạng sau comet://<your workspace name>/<your project name>/<experiment id>.

Thao tác này sẽ khôi phục lần chạy về trạng thái trước khi gián đoạn, bao gồm khôi phục model từ checkpoint, khôi phục tất cả các tham số siêu cấp và đối số huấn luyện, cũng như tải xuống các Artifact tập dữ liệu Comet nếu chúng được sử dụng trong lần chạy gốc. Lần chạy tiếp tục sẽ tiếp tục ghi vào Thử nghiệm hiện có trong giao diện người dùng của Comet.

python train.py \
  --resume "comet://<your run path>"

Tìm kiếm tham số siêu cấp với Comet Optimizer#

YOLOv5 cũng được tích hợp với Comet Optimizer, giúp dễ dàng trực quan hóa các đợt quét tham số siêu cấp (sweep) trong giao diện người dùng của Comet.

Cấu hình một đợt quét Optimizer#

Để cấu hình Comet Optimizer, bạn sẽ phải tạo một tệp JSON với thông tin về đợt quét.

Một file mẫu đã được cung cấp trong utils/loggers/comet/optimizer_config.json.

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json"

Tập lệnh hpo.py chấp nhận các đối số tương tự như train.py. Nếu bạn muốn truyền các đối số bổ sung cho đợt quét của mình, chỉ cần thêm chúng sau tập lệnh.

python utils/loggers/comet/hpo.py \
  --comet_optimizer_config "utils/loggers/comet/optimizer_config.json" \
  --save-period 1 \
  --bbox_interval 1

Chạy một đợt quét song song#

comet optimizer -j <num_workers> utils/loggers/comet/hpo.py \
  utils/loggers/comet/optimizer_config.json

Comet cung cấp nhiều cách để trực quan hóa kết quả quét của bạn. Hãy xem một dự án có đợt quét đã hoàn thành tại đây:

Giữ liên lạc#

Bắt đầu sử dụng tích hợp của chúng tôi với Comet để quản lý, trực quan hóa và tối ưu hóa các model YOLOv5 của bạn—từ các lượt huấn luyện đến việc giám sát trong production.

Và tất nhiên, hãy tham gia Cộng đồng Ultralytics – nơi để đặt câu hỏi và chia sẻ các mẹo về quá trình huấn luyện, đánh giá và triển khai YOLOv5.