Red teaming và eval an toàn: mô hình mối đe doạ, prompt injection gián tiếp, tỉ lệ tấn công thành công và từ chối nhầm

Mọi bài trước giả định người dùng muốn hệ thống hoạt động tốt. Red teaming bỏ giả định đó: có người chủ động tìm cách làm hệ thống lộ prompt hệ thống, rò dữ liệu khách hàng khác, gọi công cụ chuyển tiền, hay nói điều gây hại dưới tên thương hiệu của bạn. Phân phối đầu vào không còn ngẫu nhiên — nó đối kháng, và kẻ tấn công chỉ cần thành công một lần.

Bài này trình bày eval an toàn từ góc nhìn người phòng thủ: xác định mối đe doạ, chọn metric đo cả hai phía của sự đánh đổi, dựng bài kiểm tra tự động cho prompt injection, và tổ chức red teaming có hệ thống.

Lưu ý: bài viết tập trung vào phương pháp đánh giá và phòng thủ. Chỉ red team hệ thống bạn sở hữu hoặc được uỷ quyền kiểm thử, trong môi trường thử nghiệm tách biệt.