Khi bộ eval có hàng nghìn task chạy mỗi đêm, eval trở thành hạ tầng. Phân tầng smoke/regression/full, runner có cache, giới hạn đồng thời và thử lại, manifest phiên bản để tái lập, xử lý task flaky, ước lượng ngân sách và tổ chức quyền sở hữu eval.
Bài cuối của lộ trình: xuất mô hình PyTorch sang ONNX, phục vụ bằng FastAPI + ONNX Runtime, đo độ trễ, lượng tử hoá INT8, đóng Docker; theo dõi thí nghiệm, quản lý phiên bản dữ liệu–mô hình, giám sát drift trong production và 5 dự án portfolio để xin việc AI Engineer.