Bài trước bạn đã học ma trận nhầm lẫn — nhưng ma trận đó chỉ đúng cho 1 “ngưỡng” quyết định cụ thể (ví dụ: chào giá cho ai có điểm mô hình > 50%). Thực tế, bạn có thể chọn NHIỀU ngưỡng khác nhau — và mỗi ngưỡng cho ra kết quả lợi nhuận khác nhau. Đây là lúc cần biểu đồ trực quan để chọn đúng điểm dừng.
Ví dụ số thật: nên chào giá cho bao nhiêu % khách hàng?
Giả sử bạn có 1.000 khách hàng, mỗi lần chào giá tốn $5, và nếu khách đồng ý bạn lãi $9 (lợi nhuận thực $4/người đồng ý). Mô hình xếp hạng 1.000 khách theo khả năng đồng ý từ cao xuống thấp.
Đây gọi là đường lợi nhuận (profit curve): trục ngang là % khách được chào giá (theo thứ hạng mô hình), trục dọc là lợi nhuận tích lũy. Điểm cao nhất trên đường này chính là điểm dừng tối ưu — chào giá quá ít thì bỏ lỡ cơ hội, chào giá quá nhiều thì lỗ vì tốn chi phí cho khách gần như chắc chắn không đồng ý.
Khi chưa biết rõ chi phí/lợi ích: dùng ROC
Đường lợi nhuận cần biết chính xác chi phí và lợi ích ($5, $9 ở trên). Nhưng nhiều trường hợp, bạn chỉ muốn so sánh 2 mô hình xem “mô hình nào xếp hạng tốt hơn nói chung”, chưa cần biết chính xác $ bao nhiêu. Công cụ cho việc này là đường ROC (đã nhắc ở video bài trước) — vẽ tỷ lệ phát hiện đúng so với tỷ lệ báo động giả, ở MỌI ngưỡng có thể, gộp lại thành 1 đường duy nhất.
Diện tích dưới đường ROC (gọi là AUC) cho ra 1 con số duy nhất để so sánh nhanh 2 mô hình — AUC cao hơn thường (không phải luôn luôn) là mô hình xếp hạng tốt hơn. Nhưng nhớ: AUC không cho biết điểm dừng tối ưu cụ thể là bao nhiêu — đó vẫn cần đường lợi nhuận với chi phí/lợi ích thực tế.
Xem thêm
Video này (tiếng Anh) giải thích chi tiết cách vẽ và đọc đường ROC + ý nghĩa của AUC, bổ sung cho phần profit curve vừa học.
- Bạn giải thích được ý nghĩa trục ngang/trục dọc của đường lợi nhuận (profit curve).
- Bạn tính được lợi nhuận đơn giản với ví dụ số cho trước (chi phí $5, lãi $9).
- Bạn phân biệt được khi nào dùng profit curve (biết rõ $ chi phí/lợi ích) và khi nào dùng ROC/AUC (chỉ so sánh xếp hạng).
Xếp hạng đúng thứ tự khách hàng chỉ là bước 1 — bước quan trọng không kém là biết DỪNG ĐÚNG LÚC. Chào giá cho toàn bộ danh sách xếp hạng, dù mô hình có tốt đến đâu, vẫn có thể dẫn tới lỗ nếu bạn đi quá sâu xuống nhóm khách ít khả năng phản hồi.
Câu hỏi thường gặp
Có công thức chung để tìm điểm dừng tối ưu không?
Có — dựa trên chi phí/lợi ích cụ thể của bài toán, điểm dừng tối ưu là nơi lợi nhuận kỳ vọng thêm 1 người tiếp theo bắt đầu âm. Sẽ thực hành tính cụ thể bằng Python ở Module 4.
AUC cao có luôn đồng nghĩa mô hình tốt hơn trong mọi trường hợp?
Không hoàn toàn — AUC đo hiệu suất TRUNG BÌNH trên mọi ngưỡng, nhưng bài toán thực tế thường chỉ quan tâm 1 vùng ngưỡng cụ thể (ví dụ chỉ chào giá cho top 10% khách). 2 mô hình có AUC bằng nhau vẫn có thể khác nhau rất nhiều ở đúng vùng bạn cần.
Có thể áp dụng đường lợi nhuận vào quyết định đầu tư không?
Có — nguyên lý giống nhau: xếp hạng các cơ hội đầu tư theo khả năng sinh lời, rồi tìm điểm dừng (nên đầu tư vào bao nhiêu cơ hội) sao cho tổng lợi nhuận kỳ vọng cao nhất, tính cả chi phí/rủi ro.