QuotaCheap Playbook

Model routing: dùng model mạnh đúng lúc, model rẻ đúng việc

Hướng dẫn model routing cho AI agent: task classification, cheap/fast model cho extraction, strong model cho reasoning, fallback, quality gates, latency/co…

Không phải request nào cũng cần model mạnh nhất. Agent cost tốt bắt đầu từ việc phân loại task và route model hợp lý.

Hướng dẫn model routing cho AI agent: task classification, cheap/fast model cho extraction, strong model cho reasoning, fallback, quality gates, latency/cost trade-off và QuotaCheap gateway positioning.

Model routing: dùng model mạnh đúng lúc, model rẻ đúng việc Một trong những cách lãng phí tiền nhanh nhất là dùng model mạnh nhất cho mọi request.

AI agent thường có nhiều loại task: phân loại, trích xuất, rewrite, planning, tool selection, reasoning, summarization.

Không phải task nào cũng cần cùng một model.

Model routing là chiến lược chọn model theo việc cần làm.

Phân loại task trước Trước khi route model, hãy chia workflow thành nhóm: classification extraction formatting rewrite summarization planning reasoning code generation safety/audit Các task đơn giản như classification/extraction thường có thể dùng model nhanh/rẻ hơn.

Task cần reasoning sâu hoặc output chất lượng cao nên dùng model mạnh.

Pattern routing cơ bản Ví dụ workflow support agent: Ví dụ content agent: Fallback không phải lúc nào cũng lên model mạnh Fallback nên dựa trên lỗi: model timeout thử model cùng tier khác output invalid schema retry cùng model với prompt sửa low confidence escalate model mạnh hơn policy risk human review Nếu mọi lỗi đều fallback lên model đắt nhất, cost sẽ tăng rất nhanh.

Quality gates Routing cần đo chất lượng.

Nếu cheap model làm sai 30% và phải retry/escalate, tổng cost có thể cao hơn dùng model tốt ngay từ đầu.

Nên theo dõi: success rate retry rate human correction rate latency cost per successful task QuotaCheap angle QuotaCheap là OpenAI compatible API gateway, phù hợp để đặt một lớp routing/visibility giữa app và model providers.

Thay vì hard code model trong từng service, app có thể đi qua gateway để quản lý API keys, usage logs, quotas, request logs và billing visibility.

Không nên hứa giảm cost theo phần trăm nếu chưa đo.

Nhưng có thể nói: routing đúng giúp cải thiện unit economics và kiểm soát AI spend tốt hơn.

Kết luận Model routing tốt không phải luôn dùng model rẻ.

Nó là dùng model phù hợp nhất cho từng bước, đo kết quả, rồi tối ưu trên dữ liệu thật.

Agent production nên được thiết kế cost aware từ đầu, không chờ invoice cuối tháng mới sửa.

Cách áp dụng trong sản phẩm thật Cost optimization không nên bắt đầu bằng việc đổi model hàng loạt.

Cách an toàn hơn là thêm visibility trước, rồi tối ưu từng điểm có dữ liệu.

Một rollout thực dụng: 1.

Đo trước : log model, input tokens, output tokens, latency, workflow id và user/workspace id.

Tìm top waste : xem workflow nào tốn nhất, request nào context dài nhất, job nào retry nhiều nhất.

Cắt phần thừa ít rủi ro : prune tool output, giới hạn history, tách prompt theo task type.

Route model có kiểm soát : đưa task đơn giản sang model rẻ/nhanh hơn, nhưng giữ quality gate.

Đặt guardrails : quota, retry cap, per workflow budget, alert spend spike.