Mạng nơ-ron và backpropagation từ con số 0: tự viết autograd rồi so với PyTorch

Mọi mô hình Deep Learning — từ mạng nhận diện ảnh tới GPT — đều được huấn luyện bằng một thuật toán duy nhất: backpropagation kết hợp gradient descent. Bạn có thể gọi loss.backward() cả đời mà không hiểu bên trong, nhưng khi mô hình không học, loss thành nan, gradient biến mất, chính hiểu biết này giúp bạn tìm ra lỗi.

Bài này làm theo tinh thần của Andrej Karpathy trong Neural Networks: Zero to Hero: tự viết một engine autograd khoảng 50 dòng, dựng mạng nơ-ron trên đó, rồi kiểm chứng với PyTorch.