Bỏ qua điều hướng
DTCode
EN
DTCode Dev ZineLoạt bài · 10 phần

Đọc theo thứ tự

AI Evaluation Engineer cơ bản

10 phần

  1. Phần 1

    Lộ trình AI Evaluation Engineer 2026: nghề đo chất lượng AI và học từ đâu

    AI Evaluation Engineer làm gì, cần kỹ năng nào, khác gì QA và ML Engineer. Bản đồ 10 bài cơ bản + 10 bài nâng cao, lịch học 12 tuần và danh sách tài liệu đáng tin cậy nhất về evals cho LLM và agent.

    PRO15 phút đọc#AI #Benchmark #Evaluation #LLM #Nghề nghiệp

  2. Phần 2

    Tư duy eval: task, trial, grader, transcript và tự viết harness đánh giá đầu tiên

    Các khái niệm nền của evals cho LLM: task, trial, grader, transcript, outcome, harness; eval năng lực và eval hồi quy; offline và online; nhãn nhị phân thay cho thang 1–5. Tự viết một harness eval khoảng 80 dòng Python, chạy nhiều lần mỗi task.

    PRO18 phút đọc#AI #Evaluation #LLM #Python

  3. Phần 3

    Thống kê cho eval: sai số chuẩn, khoảng tin cậy, bootstrap và so sánh ghép cặp hai phiên bản

    90% trên 40 câu có thật sự hơn 85%? Tính sai số chuẩn và khoảng tin cậy Wilson cho tỉ lệ đạt, bootstrap, cần bao nhiêu câu hỏi, chạy nhiều trial để giảm nhiễu, và so sánh hai prompt bằng phép thử ghép cặp, McNemar — tất cả bằng NumPy và SciPy.

    PRO19 phút đọc#AI #Evaluation #Python #Thống kê

  4. Phần 4

    Xây bộ dữ liệu đánh giá: từ trace thật, dữ liệu tổng hợp theo chiều, nhãn chuyên gia và Cohen's kappa

    Bộ eval tốt quyết định mọi thứ phía sau. Lấy câu hỏi từ production, ticket và chuyên gia; sinh dữ liệu tổng hợp có kiểm soát bằng chiều và tuple; viết hướng dẫn gán nhãn, đo đồng thuận bằng Cohen's kappa; chia dev/test phân tầng và phiên bản hoá dữ liệu.

    PRO20 phút đọc#AI #Dataset #Evaluation #Python

  5. Phần 5

    Error analysis: đọc trace, open coding, axial coding và xây bảng phân loại lỗi cho hệ thống LLM

    Hoạt động có giá trị nhất trong eval là đọc dữ liệu. Quy trình error analysis từng bước: lấy mẫu trace, ghi chú lỗi đầu tiên (open coding), gom nhóm thành bảng phân loại lỗi (axial coding), đếm và ưu tiên, dừng khi bão hoà — kèm công cụ gán nhãn tối giản và phân tích bằng pandas.

    PRO18 phút đọc#AI #Error Analysis #Evaluation #Python

  6. Phần 6

    Grader bằng code và metric: exact match, token F1, JSON schema, kiểm tra tool call, chạy unit test và pass@k

    Grader bằng code rẻ, nhanh, tất định — luôn là lựa chọn đầu tiên. Chuẩn hoá chuỗi, exact match và token F1 kiểu SQuAD, kiểm tra JSON schema, chấm lời gọi công cụ, chạy unit test cho code do mô hình sinh, ước lượng không chệch pass@k, và vì sao BLEU/ROUGE không đo được chất lượng.

    PRO20 phút đọc#AI #Evaluation #Metrics #Python

  7. Phần 7

    LLM-as-a-judge: viết judge chấm một lỗi, đo TPR/TNR so với người và hiệu chỉnh tỉ lệ đạt

    Khi code không chấm được, dùng LLM chấm LLM — nhưng chỉ sau khi kiểm chứng. Thiết kế judge nhị phân cho đúng một nhóm lỗi, prompt có định nghĩa và ví dụ, structured output; chia nhãn train/dev/test, đo TPR và TNR, chống thiên kiến vị trí và độ dài, hiệu chỉnh tỉ lệ đạt kèm khoảng tin cậy.

    PRO22 phút đọc#AI #Evaluation #LLM-as-Judge #Python

  8. Phần 8

    Đánh giá RAG: recall@k, MRR, nDCG cho truy xuất; faithfulness, context precision/recall cho câu trả lời

    Hệ thống RAG hỏng ở hai nơi: tìm sai tài liệu hoặc trả lời sai dù tài liệu đúng. Tự viết recall@k, precision@k, MRR, nDCG; so sánh hai retriever và thấy bộ câu hỏi trùng từ thổi phồng điểm thế nào; đo faithfulness bằng tách mệnh đề, các metric kiểu RAGAS và ma trận chẩn đoán lỗi.

    PRO21 phút đọc#AI #Evaluation #Python #RAG #RAGAS

  9. Phần 9

    Công cụ eval: viết eval bằng Inspect AI, khai báo bằng promptfoo và chọn nền tảng theo dõi

    Chuyển harness tự viết sang công cụ chuẩn: Inspect AI với Sample, solver, scorer tự viết, epochs, thử bằng mô hình giả mockllm; promptfoo so sánh hai prompt bằng YAML với assertion code và llm-rubric; cách chọn Inspect, promptfoo, DeepEval, Langfuse, Braintrust.

    PRO16 phút đọc#AI #Evaluation #Inspect AI #Python #promptfoo

  10. Phần 10

    Dự án cuối loạt cơ bản: pipeline eval cho chatbot hỗ trợ khách hàng, có cổng chặn trong CI

    Ghép mọi thứ đã học thành một dự án chạy được: bộ dữ liệu có regression và capability suite, grader cho từng nhóm lỗi, chạy nhiều trial, báo cáo có khoảng tin cậy Wilson và so sánh ghép cặp, cổng chặn phát hành với GitHub Actions, unit test cho chính grader và mẫu báo cáo dạng câu chuyện.

    PRO26 phút đọc#AI #CI/CD #Dự án #Evaluation #Python