QuotaCheap Playbook

Quality vs cost: giảm chi phí AI mà không làm agent ngu đi

Cách cân bằng chất lượng và chi phí trong AI agent: quality metrics, eval set, tiered model strategy, human review sampling, regression checks và cost per…

Cost optimization không phải lúc nào cũng dùng model rẻ hơn. Mục tiêu là giảm cost per successful task.

Cách cân bằng chất lượng và chi phí trong AI agent: quality metrics, eval set, tiered model strategy, human review sampling, regression checks và cost per successful task.

Quality vs cost: giảm chi phí AI mà không làm agent ngu đi Giảm chi phí AI không đồng nghĩa với việc đổi toàn bộ sang model rẻ hơn.

Nếu model rẻ làm sai nhiều, phải retry nhiều hoặc cần human sửa nhiều, tổng cost có thể cao hơn.

Metric đúng hơn là: cost per successful task .

Định nghĩa chất lượng trước Trước khi optimize, hãy định nghĩa thành công: Trả lời đúng không?

Có cần human sửa không?

Có hoàn thành workflow không?

Có vi phạm policy không?

Latency có chấp nhận được không?

User có hài lòng không?

Không có quality metric, mọi quyết định model chỉ là cảm tính.

Tạo eval set nhỏ Không cần hệ thống eval phức tạp ngay.

Bắt đầu với 30 100 case thật: câu dễ câu khó edge cases cases từng fail cases có tool calls Chạy nhiều model/prompt trên cùng set để so sánh.

Tiered model strategy Dùng nhiều tier: cheap/fast cho classification/extraction mid model cho draft/summarization strong model cho reasoning/phán đoán khó human review cho high risk cases Human review sampling Không cần review 100%, nhưng nên sample: random 5 10% high cost requests low confidence cases auto published actions customer facing output Regression checks Mỗi lần đổi prompt/model/routing, chạy lại eval set.

Nếu cost giảm 30% nhưng failure tăng 50%, chưa chắc là thắng.

Cost per successful task Tính: Nếu workflow A rẻ/request nhưng fail nhiều, workflow B đắt/request nhưng thành công ngay có thể tốt hơn.

QuotaCheap angle QuotaCheap giúp lấy dữ liệu usage/cost theo request/workspace/model.

Khi kết hợp với quality labels từ app, bạn có thể nhìn cost per successful task thay vì chỉ cost per token.

Kết luận Agent rẻ nhưng ngu là đắt.

Agent đắt nhưng đúng cũng chưa chắc tối ưu.

Mục tiêu là chất lượng đủ tốt với chi phí có kiểm soát.

Muốn làm được, hãy đo quality và cost cùng nhau.

Cách áp dụng trong sản phẩm thật Cost optimization không nên bắt đầu bằng việc đổi model hàng loạt.

Cách an toàn hơn là thêm visibility trước, rồi tối ưu từng điểm có dữ liệu.

Một rollout thực dụng: 1.