VeloxAI: control plane multi-model cho đội sản phẩm

Mỗi đội sản phẩm xây dựng với AI rồi cũng sẽ gặp cùng một bức tường. Thường là vào tuần thứ sáu. Demo chạy rất đẹp — Claude Sonnet sau clean chat UI, streaming responses, users hài lòng. Rồi có người hỏi: mình thêm document search được không? Chuyển sang model rẻ hơn cho câu hỏi đơn giản được không? Xem mỗi khách hàng tốn bao nhiêu được không? Đột nhiên SDK của một provider, thứ đã tiết kiệm hai tuần integration, giờ khiến bạn tốn hàng tháng re-architecture.

Cái bẫy proxy

Hầu hết các multi-model API chỉ là proxy mỏng. Chúng nhận OpenAI-format request, forward tới provider đã cấu hình và trả response. Cách đó giải quyết đúng một vấn đề: không phải cài nhiều SDK. Nó không giải quyết bất kỳ vấn đề nào thực sự quan trọng trong production — auth cho nhiều team, rate limit từng khách hàng, track cost từng workflow, audit logs, billing integration, cache-aware routing, RAG có citations, agent tool sandboxing, webhook delivery, readiness reporting hay model failover.

Proxy giấu complexity sau giao diện thân thiện. Control plane làm cho complexity hiển thị được, audit được và kiểm soát được. VeloxAI là loại thứ hai.

Control plane thực sự làm gì

1. Xác thực API key với live/test modes dưới /v1, tương thích OpenAI ở những nơi quan trọng để SDK adapter có sẵn hoạt động không cần rewrite.
2. Kiểm tra rate limit, quota, plan entitlements và organization membership trước khi gửi dù chỉ một token đến provider.
3. Route request tới model phù hợp dựa trên readiness thật của provider — không phải bảng cứng availability nói dối.
4. Stream SSE response với contract data: [DONE] kiểu OpenAI, ghi mỗi token, latency sample, provider identity và cost trước khi stream kết thúc.
5. Emit usage events vào queue để workers đủ thời gian deduct credits, trigger alerts, update dashboards và deliver webhooks mà không block request path.
6. Hiển thị analytics filters để operator có thể zoom từ monthly spend xuống latency spike của một customer theo model, provider, API key và endpoint.
7. Giữ RAG vectors trong Qdrant và metadata trong PostgreSQL để mọi câu trả lời đều cite được source và mọi retrieval failure đều hiển thị được.
8. Gate custom code tool execution sau sandbox với CPU, memory, time, network và filesystem limits thay vì chạy code tùy ý trong request worker.

Chi phí thật khi không có control plane

Tôi đã nói chuyện với những đội dành ba tháng xây billing, alerting, model routing và key management nội bộ trước khi ship được product thật. Ba tháng platform work cho zero customer-facing feature. Đó là hidden tax của direct provider integration.

async function routeToModel(input: string, custId: string) {
  // 10-step nightmare every team eventually writes:
  // 1. Look up customer plan
  // 2. Check usage vs quota
  // 3. Pick provider by availability
  // 4. Load provider credentials
  // 5. Call provider SDK
  // 6. Parse streaming response
  // 7. Write usage event
  // 8. Update credit balance
  // 9. Check alert thresholds
  // 10. Return response
  // All blocking. None versioned. Works with 1 provider.
}

// VeloxAI: one call, all handled.
const stream = await client.chat.completions.create({
  model: "gpt-4o-mini", stream: true,
  messages: [{ role: "user", content: input }]
});

Cập nhật: 25 thg 5, 2026