看板
一个“理想形态”的 AI Key 管理控制面:把调用收口到网关层,key 资产化(台账/策略/轮换),并实现事件级计量、预算止损与探活切流。
成本 · 近7天
租户排行
最新告警
路由快照
tenant/project/feature,在网关层完成
选 key、预算、限流、重试、熔断、统一错误码,并把
usage events 发往观测与计费系统。
密钥
Key 是“资产记录”,不是字符串:每把 key 都有 owner/tags、预算、限流、健康状态、最近错误与可追溯的操作历史。
池
Pool 负责把“租户/项目/功能”映射到一组 key,并定义路由策略(权重/轮询/故障切换)、允许模型与降级策略。
池列表
当前池
用量
事件级用量(usage events)是“可运营”的基础:你可以按 tenant/key/model/feature 归因成本,做预算告警与对账。
图表
表格
原始事件(最新在前)
告警
目标不是“看到红点”,而是给出可执行处置:一键 disable key、切换 pool、降级模型、限流租户、或触发轮换演练。
健康
健康度由主动探活 + 被动判定共同决定:401/403(失效/权限)、429(限流/额度)、5xx(上游故障)必须分开对待。
密钥健康
近期事件
文档
让业务侧接入“像接一个厂商一样简单”:尽量兼容 OpenAI API 形状(base_url 指向你的网关),并统一 header 维度用于归因。
接入方式(OpenAI 兼容)
业务服务只需要:LLM_BASE_URL + 内部 token(不再分发第三方
key)。
Headers(用于计量)
-
X-Tenant:租户(成本分摊) -
X-Project:项目(内部归因) -
X-Feature:功能(止损与降级策略) -
X-Request-Id:贯穿日志/trace 的请求 ID
示例 cURL(走网关)
网关职责
- 模型路由(pool → key)
- 预算/限流(tenant/key/feature)
- 重试/熔断/切流
- 日志脱敏与统一错误码
- usage events(tokens/cost/latency)
- health events(canary + passive)
- 告警规则(burn-rate / 401 / 429)
- 对账与成本分摊
设置
这里是 demo 的“控制台”:价格表、告警阈值、导入导出与一键 reset。真实产品里这些会分散到权限/审计/环境配置系统。
预算规则
价格表(演示)
数据
导入:把 JSON 拖进来恢复状态。
重置:清空 localStorage 并恢复默认样本数据。