Các khái niệm nền của evals cho LLM: task, trial, grader, transcript, outcome, harness; eval năng lực và eval hồi quy; offline và online; nhãn nhị phân thay cho thang 1–5. Tự viết một harness eval khoảng 80 dòng Python, chạy nhiều lần mỗi task.
AI Evaluation Engineer làm gì, cần kỹ năng nào, khác gì QA và ML Engineer. Bản đồ 10 bài cơ bản + 10 bài nâng cao, lịch học 12 tuần và danh sách tài liệu đáng tin cậy nhất về evals cho LLM và agent.
Anthropic ra Claude Haiku 5.5 ngày 7/10/2026 với giá 0,10 USD/triệu token đầu vào, lần đầu có chế độ effort cho dòng Haiku, nhắm vào subagent và tác vụ khối lượng lớn.
DeepSeek cập nhật V4.1-Flash ngày 17/10/2026, tối ưu cho agent lập trình, giữ nguyên giá API, mở trọng số trên Hugging Face và ra mắt Search/Fetch API.
Jev là "System One model" đầu tiên của TypeSafe AI. Nó không chat, không viết code mà trả lời các câu hỏi có kiểu (Choice, Score, Noul) kèm xác suất, trong vài trăm mili giây.
GPT-6.1 Sol ra mắt tại DevDay 2026, nhắm vào agentic coding và computer use trong Codex. OpenAI nói nó gần ngang GPT-6 Astra với giá token chỉ bằng một phần năm.