Huấn luyện mạng sâu với PyTorch: DataLoader, AdamW, BatchNorm, Dropout và gỡ lỗi khi mô hình không học
Vòng lặp huấn luyện PyTorch chuẩn mực trên Fashion-MNIST: Dataset/DataLoader, nn.Module, GPU, optimizer SGD/Adam/AdamW, lịch learning rate, BatchNorm, Dropout, weight decay, early stopping, checkpoint, mixed precision và quy trình gỡ lỗi 'overfit một batch'.
10 phút đọc
Bài trước, ta tự viết backprop và thấy PyTorch làm đúng điều đó. Bài này là phần kỹ thuật huấn luyện: những thứ quyết định mô hình đạt 85% hay 92%, học trong 5 phút hay không bao giờ hội tụ.
Ta xây một vòng lặp huấn luyện PyTorch đầy đủ — loại bạn sẽ sao chép vào mọi dự án — trên bộ Fashion-MNIST (70.000 ảnh xám 28×28 của 10 loại quần áo, khó hơn MNIST chữ số). Cuối bài là quy trình gỡ lỗi khi mô hình không chịu học.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.