Playbook tối ưu chi phí AI: 7 tactics thực sự hiệu quả

Tôi audit bill của một AI product tháng trước: $48,000 cho 900 MAU. Team dùng Claude Opus cho mọi request vì 'nó cho câu trả lời tốt nhất.' Không tiered routing, không caching, không alerts. Hai tuần làm việc đưa bill xuống $12,000 không quality regression. Đây là bảy tactics tạo ra số tiết kiệm đó.

7 tactics xếp theo impact

1. Tiered model routing (tiết kiệm 30–40%): Phân loại mọi request. Extraction → fast tier. Chat → balanced tier. Complex reasoning → frontier tier. 'Chính sách đổi trả là gì?' gửi Opus tốn gấp 5 lần Haiku cho cùng câu trả lời.
2. Prompt caching (tiết kiệm 15–25%): Claude và Gemini offer prompt caching. Sonnet cache read $0.30/1M vs $3/1M input — giảm 10 lần. Đặt static content đầu messages array để maximize cache hits.
3. Output token constraints (tiết kiệm 10–15%): Đặt max_tokens ở 95th percentile actual usage mỗi workflow, không phải model maximum. Classification cần 50 tokens, không phải 16,384.
4. Prompt compression (tiết kiệm 8–12%): Audit system prompts. 4000-token prompt đáng lẽ 800 đốt tiền mỗi call. Chuyển static knowledge sang retrieval, không embed trong prompt.
5. Usage alerts và budgets (phòng ngừa): Hard spending caps mỗi org, soft alerts ở 50%/80%/95%. Anomaly detection khi daily spend vượt 2.5x trung bình 7 ngày.
6. Batch non-interactive work (tiết kiệm 5–10%): Nightly reports và bulk classification ở batch pricing (giảm 50%, 24h turnaround). Real-time cho users, batch cho background.
7. Track cost per feature (visibility): Tag mỗi call với feature ID. Bạn có thể phát hiện free search feature tốn $3K/tháng trong khi core chat tốn $9K.

Cập nhật: 17 thg 5, 2026