Tuyển tập theo chủ đề
21 bài viết về Evaluation.
21 bài viếtTrang 2/2#EvaluationBỏ lọc
Bài số № 58PRO
90% trên 40 câu có thật sự hơn 85%? Tính sai số chuẩn và khoảng tin cậy Wilson cho tỉ lệ đạt, bootstrap, cần bao nhiêu câu hỏi, chạy nhiều trial để giảm nhiễu, và so sánh hai prompt bằng phép thử ghép cặp, McNemar — tất cả bằng NumPy và SciPy.
Bài số № 57PRO
Các khái niệm nền của evals cho LLM: task, trial, grader, transcript, outcome, harness; eval năng lực và eval hồi quy; offline và online; nhãn nhị phân thay cho thang 1–5. Tự viết một harness eval khoảng 80 dòng Python, chạy nhiều lần mỗi task.
Bài số № 56PRO
AI Evaluation Engineer làm gì, cần kỹ năng nào, khác gì QA và ML Engineer. Bản đồ 10 bài cơ bản + 10 bài nâng cao, lịch học 12 tuần và danh sách tài liệu đáng tin cậy nhất về evals cho LLM và agent.
Bài số № 27PRO
Từ hồi quy sang phân loại: sigmoid, softmax, cross-entropy, viết hồi quy logistic bằng NumPy; rồi đánh giá đúng cách với confusion matrix, precision/recall/F1, chọn ngưỡng, ROC-AUC, dữ liệu mất cân bằng, cross-validation và Pipeline chống rò rỉ dữ liệu.