Bỏ qua điều hướng
EN
DTCode Dev ZineChủ đề

Tuyển tập theo chủ đề

#LLM-as-Judge

2 bài viết về LLM-as-Judge.

Danh sách bài viết

2 bài viết#LLM-as-JudgeBỏ lọc

Bài số № 68PRO

Judge đáng tin cậy ở quy mô lớn: meta-evaluation, hội đồng judge, Bradley-Terry và chống tối ưu ngược

Khi điểm judge quyết định phát hành, judge phải chịu được áp lực. So judge với trần đồng thuận người–người, hội đồng judge khác họ mô hình, xếp hạng phiên bản bằng Bradley-Terry có khoảng tin cậy, đo thiên kiến độ dài bằng hồi quy, chống Goodhart và trôi judge.

20 phút đọc

Bài số № 62PRO

LLM-as-a-judge: viết judge chấm một lỗi, đo TPR/TNR so với người và hiệu chỉnh tỉ lệ đạt

Khi code không chấm được, dùng LLM chấm LLM — nhưng chỉ sau khi kiểm chứng. Thiết kế judge nhị phân cho đúng một nhóm lỗi, prompt có định nghĩa và ví dụ, structured output; chia nhãn train/dev/test, đo TPR và TNR, chống thiên kiến vị trí và độ dài, hiệu chỉnh tỉ lệ đạt kèm khoảng tin cậy.

22 phút đọc