Đưa mô hình vào sản phẩm: ONNX, FastAPI, Docker, lượng tử hoá và MLOps cơ bản
Bài cuối của lộ trình: xuất mô hình PyTorch sang ONNX, phục vụ bằng FastAPI + ONNX Runtime, đo độ trễ, lượng tử hoá INT8, đóng Docker; theo dõi thí nghiệm, quản lý phiên bản dữ liệu–mô hình, giám sát drift trong production và 5 dự án portfolio để xin việc AI Engineer.
14 phút đọc
Một mô hình 95% nằm trong notebook có giá trị bằng 0 với người dùng. Phần lớn công việc của AI Engineer — và phần lớn lý do dự án AI thất bại — nằm sau khi huấn luyện xong: đóng gói, phục vụ nhanh và rẻ, theo dõi khi dữ liệu thật thay đổi, cập nhật mà không làm hỏng gì.
Bài cuối của loạt đi hết con đường đó với mô hình phân loại ảnh ở bài 11: xuất ONNX, dựng API bằng FastAPI, đo và tăng tốc, đóng Docker, rồi các thực hành MLOps tối thiểu. Cuối bài là gợi ý dự án portfolio để khép lại lộ trình.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.