Tuyển tập theo chủ đề
3 bài viết về Benchmark.
3 bài viết#BenchmarkBỏ lọc
Bài số № 71PRO
Một bộ dữ liệu nội bộ khác một benchmark nhiều người dùng. Construct validity, bão hoà và vòng đời benchmark, phát hiện nhiễm dữ liệu bằng trùng n-gram và câu diễn đạt lại, canary string, mô hình Rasch để ước lượng độ khó và chọn tập con giữ đúng thứ hạng.
Bài số № 66PRO
Loạt nâng cao bắt đầu ở đâu loạt cơ bản dừng lại. Thang trưởng thành của hệ thống eval, những gì thay đổi khi đánh giá agent và hội thoại nhiều lượt, các nhánh nghề (eval sản phẩm, eval năng lực, eval an toàn), danh sách bài báo nên đọc và lộ trình 10 bài.
Bài số № 56PRO
AI Evaluation Engineer làm gì, cần kỹ năng nào, khác gì QA và ML Engineer. Bản đồ 10 bài cơ bản + 10 bài nâng cao, lịch học 12 tuần và danh sách tài liệu đáng tin cậy nhất về evals cho LLM và agent.