46 bài viếtTrang 1/3
Bài số № 66PRO
Loạt nâng cao bắt đầu ở đâu loạt cơ bản dừng lại. Thang trưởng thành của hệ thống eval, những gì thay đổi khi đánh giá agent và hội thoại nhiều lượt, các nhánh nghề (eval sản phẩm, eval năng lực, eval an toàn), danh sách bài báo nên đọc và lộ trình 10 bài.
Bài số № 67PRO
Khi câu hỏi theo nhóm, mỗi câu chạy nhiều lần và bạn thử cả chục biến thể prompt, công thức sai số đơn giản không còn đúng. Sai số theo cụm, phân rã phương sai để chọn số trial, power analysis cho MDE, và kiểm soát phát hiện sai bằng Holm, Benjamini-Hochberg.
Bài số № 68PRO
Khi điểm judge quyết định phát hành, judge phải chịu được áp lực. So judge với trần đồng thuận người–người, hội đồng judge khác họ mô hình, xếp hạng phiên bản bằng Bradley-Terry có khoảng tin cậy, đo thiên kiến độ dài bằng hồi quy, chống Goodhart và trôi judge.
Bài số № 69PRO
Agent gọi công cụ qua nhiều bước nên không chấm như chatbot. Môi trường có trạng thái reset mỗi trial, chấm trạng thái thật thay cho lời agent tự nhận, bắt agent nói dối, đo pass@1 và pass^k, ma trận lỗi chuyển trạng thái, eval agent có công cụ bằng Inspect.
Bài số № 70PRO
Lỗi của chatbot thường chỉ lộ ra sau vài lượt. Kịch bản có persona, mục tiêu và thông tin ẩn; người dùng giả lập bằng LLM; điều kiện dừng; grader cấp hội thoại; kiểm tra người dùng giả có giống người thật không; replay tiền tố hội thoại thật.
Bài số № 71PRO
Một bộ dữ liệu nội bộ khác một benchmark nhiều người dùng. Construct validity, bão hoà và vòng đời benchmark, phát hiện nhiễm dữ liệu bằng trùng n-gram và câu diễn đạt lại, canary string, mô hình Rasch để ước lượng độ khó và chọn tập con giữ đúng thứ hạng.
Bài số № 72PRO
Khi đầu vào là đối kháng, eval đổi bản chất. Mô hình mối đe doạ theo OWASP Top 10 cho LLM 2025, đo prompt injection gián tiếp bằng canary vô hại, cân bằng tỉ lệ tấn công thành công với từ chối nhầm, red team thủ công, tự động và bằng garak, PyRIT, promptfoo.
Bài số № 73PRO
Bộ eval offline tốt nhất vẫn chỉ là mẫu của quá khứ. Chạy judge trên traffic thật và hiệu chỉnh trọng số, tín hiệu ngầm của người dùng, A/B test có cỡ mẫu, kiểm tra SRM và tránh bẫy nhìn trộm, biểu đồ kiểm soát phát hiện chất lượng trôi.
Bài số № 74PRO
Khi bộ eval có hàng nghìn task chạy mỗi đêm, eval trở thành hạ tầng. Phân tầng smoke/regression/full, runner có cache, giới hạn đồng thời và thử lại, manifest phiên bản để tái lập, xử lý task flaky, ước lượng ngân sách và tổ chức quyền sở hữu eval.
Bài số № 75PRO
Dự án tổng hợp: eval agent đổi trả có công cụ, người dùng giả, ba grader (outcome, không nói dối, an toàn trước prompt injection), pass^k, bootstrap theo cụm, chi phí trên mỗi task thành công và báo cáo phát hành; kèm câu hỏi phỏng vấn Evals Engineer thường gặp.
Bài số № 56PRO
AI Evaluation Engineer làm gì, cần kỹ năng nào, khác gì QA và ML Engineer. Bản đồ 10 bài cơ bản + 10 bài nâng cao, lịch học 12 tuần và danh sách tài liệu đáng tin cậy nhất về evals cho LLM và agent.
Bài số № 57PRO
Các khái niệm nền của evals cho LLM: task, trial, grader, transcript, outcome, harness; eval năng lực và eval hồi quy; offline và online; nhãn nhị phân thay cho thang 1–5. Tự viết một harness eval khoảng 80 dòng Python, chạy nhiều lần mỗi task.
Bài số № 58PRO
90% trên 40 câu có thật sự hơn 85%? Tính sai số chuẩn và khoảng tin cậy Wilson cho tỉ lệ đạt, bootstrap, cần bao nhiêu câu hỏi, chạy nhiều trial để giảm nhiễu, và so sánh hai prompt bằng phép thử ghép cặp, McNemar — tất cả bằng NumPy và SciPy.
Bài số № 59PRO
Bộ eval tốt quyết định mọi thứ phía sau. Lấy câu hỏi từ production, ticket và chuyên gia; sinh dữ liệu tổng hợp có kiểm soát bằng chiều và tuple; viết hướng dẫn gán nhãn, đo đồng thuận bằng Cohen's kappa; chia dev/test phân tầng và phiên bản hoá dữ liệu.
Bài số № 60PRO
Hoạt động có giá trị nhất trong eval là đọc dữ liệu. Quy trình error analysis từng bước: lấy mẫu trace, ghi chú lỗi đầu tiên (open coding), gom nhóm thành bảng phân loại lỗi (axial coding), đếm và ưu tiên, dừng khi bão hoà — kèm công cụ gán nhãn tối giản và phân tích bằng pandas.
Bài số № 61PRO
Grader bằng code rẻ, nhanh, tất định — luôn là lựa chọn đầu tiên. Chuẩn hoá chuỗi, exact match và token F1 kiểu SQuAD, kiểm tra JSON schema, chấm lời gọi công cụ, chạy unit test cho code do mô hình sinh, ước lượng không chệch pass@k, và vì sao BLEU/ROUGE không đo được chất lượng.
Bài số № 62PRO
Khi code không chấm được, dùng LLM chấm LLM — nhưng chỉ sau khi kiểm chứng. Thiết kế judge nhị phân cho đúng một nhóm lỗi, prompt có định nghĩa và ví dụ, structured output; chia nhãn train/dev/test, đo TPR và TNR, chống thiên kiến vị trí và độ dài, hiệu chỉnh tỉ lệ đạt kèm khoảng tin cậy.