Pipeline billing AI: từ token đến invoice

AI billing khác cơ bản với SaaS billing. SaaS charge per seat per month. AI — mỗi request có cost khác nhau: model khác, token count khác, provider pricing khác, cache hit rate khác. Pipeline billing phải capture granularity này hoặc bạn sẽ undercharge (mất tiền) hoặc overcharge (mất khách).

Usage events là source of truth

// Emit after every API response — never write synchronously
interface UsageEvent {
  requestId: string;  orgId: string;  apiKeyId: string;
  model: string;  provider: string;
  inputTokens: number;  outputTokens: number;
  cacheReadTokens: number;  latencyMs: number;
  status: 'success' | 'error';
  costUsd: number;  creditCost: number;
}

// Process in queue worker:
await Promise.all([
  deductCredits(event.orgId, event.creditCost),
  writeAnalyticsEvent(event),
  checkAlertThresholds(event.orgId)
]);

Idempotent credit deduction

Dùng request ID làm idempotency key. Nếu usage event bị xử lý hai lần (queue retry, worker crash), credit không bị deduct hai lần. Payment callbacks cũng phải idempotent — verify với provider trước khi update balance.

Analytics là query layer

Users phải filter được spend theo date range, model, provider, API key và status. Hiển thị latency percentiles (p50, p95, p99), error rates và cache hit rates. Operators phải drill từ monthly spike xuống exact request gây ra nó.

Cập nhật: 21 thg 5, 2026