90% trên 40 câu có thật sự hơn 85%? Tính sai số chuẩn và khoảng tin cậy Wilson cho tỉ lệ đạt, bootstrap, cần bao nhiêu câu hỏi, chạy nhiều trial để giảm nhiễu, và so sánh hai prompt bằng phép thử ghép cặp, McNemar — tất cả bằng NumPy và SciPy.
Các khái niệm nền của evals cho LLM: task, trial, grader, transcript, outcome, harness; eval năng lực và eval hồi quy; offline và online; nhãn nhị phân thay cho thang 1–5. Tự viết một harness eval khoảng 80 dòng Python, chạy nhiều lần mỗi task.
AI Evaluation Engineer làm gì, cần kỹ năng nào, khác gì QA và ML Engineer. Bản đồ 10 bài cơ bản + 10 bài nâng cao, lịch học 12 tuần và danh sách tài liệu đáng tin cậy nhất về evals cho LLM và agent.
Clef, mô hình quyết định đa phương thức 27B của Cloudflare, đã có trên Ollama: chạy local hoặc cloud, giấy phép Apache 2.0, đọc một lần và trả xác suất.
Block của Jack Dorsey ra mắt Dessa, model giọng nói full-duplex hiểu cảm xúc, huấn luyện hoàn toàn trên tiếng người và chạy cục bộ trên MacBook M4 Max.
Bản đồ 14 bài để đi từ toán và Python tới Machine Learning, Deep Learning, Computer Vision và triển khai mô hình — kèm danh sách khoá học, sách, tài liệu miễn phí đáng tin cậy và cách học không bị lạc.
Phần toán tối thiểu để đọc hiểu ML và Deep Learning: tích vô hướng, nhân ma trận, gradient, quy tắc chuỗi, phân phối xác suất, kỳ vọng, Bayes — mỗi khái niệm đi kèm vài dòng NumPy và chỗ nó xuất hiện trong mô hình thật.
Bộ công cụ hằng ngày của AI Engineer: vector hoá với NumPy, đọc–lọc–gộp–làm sạch dữ liệu với Pandas, vẽ biểu đồ khám phá với Matplotlib. Thực hành trọn một vòng EDA trên Titanic, kết thúc bằng bảng đặc trưng sẵn sàng cho mô hình.
Mô hình ML đầu tiên, viết tay bằng NumPy rồi bằng scikit-learn: hàm mất mát MSE, gradient descent theo batch và mini-batch, chia train/validation/test, overfitting–underfitting, hồi quy đa thức và regularization Ridge/Lasso.
Từ hồi quy sang phân loại: sigmoid, softmax, cross-entropy, viết hồi quy logistic bằng NumPy; rồi đánh giá đúng cách với confusion matrix, precision/recall/F1, chọn ngưỡng, ROC-AUC, dữ liệu mất cân bằng, cross-validation và Pipeline chống rò rỉ dữ liệu.
Cây quyết định chia dữ liệu bằng Gini/entropy, vì sao một cây dễ overfit, Random Forest gộp nhiều cây (bagging), gradient boosting sửa lỗi tuần tự; thực hành với scikit-learn, giới thiệu XGBoost/LightGBM/CatBoost, feature importance và permutation importance.
Khi dữ liệu không có nhãn: viết K-means từ đầu, chọn số cụm bằng elbow và silhouette, khi nào dùng DBSCAN; giảm chiều bằng PCA (tự viết bằng SVD), nén ảnh chữ số, trực quan hoá bằng t-SNE/UMAP và phát hiện bất thường.