其团队治理是开源网关里文档最全的:Organization / Team / Internal User / Virtual Key 四层,spend 同时归属 key、user、team、org,任一层超预算即拦截;Virtual Key 可带 models、max_budget + budget_duration、rpm_limit、tpm_limit、soft_budget(软预算告警)与 metadata 归属。对 LIN 专栏的价值是提供一套“预算要分层、告警要前置”的治理模板。

适用场景:团队在 LIN 的 Sub2API 站点上抱怨“额度要么不够用、要么月底爆表”,需要重构额度制度时。

LiteLLM 对照系统 Virtual Keys 团队预算 RBAC

操作步骤

  1. 按 LiteLLM 的分层思路列本团队的四层预算:总池 → 分组/项目 → 成员 → 单 Key。
  2. 在 Sub2API 里用已有机制逐层落地:总池看上游账号与站点余额,项目/人群用分组,成员用 user 余额/订阅,单 Key 用窗口/限流(条目 7-9)。
  3. 告警前置:LiteLLM 用 soft_budget + Slack/webhook 在烧穿前告警;Sub2API 侧若无等价告警,就用条目 16 的监控工具 + 定期导账人工补位,并把这个缺口如实写进专栏。
  4. Key 命名与 metadata 归属规范先行,否则分层预算无处落。

配置说明

LiteLLM 事实来源:官方 RBAC 文档(层级与拦截规则)、官方 Alerting 文档(soft_budget 与 spend report 配置)、仓库 https://github.com/BerriAI/litellm.git 。其 Organization 层与审计日志中的部分能力属 Enterprise,不要写成开源版标配。

注意事项

  • ⚠️ 照搬 LiteLLM 的 API 字段(/key/generate 的参数)到 Sub2API 文里——两套 API 完全不同。
  • ⚠️ 只设硬上限不设软告警:成员在关键时刻被硬停,体验事故比超支更伤团队信任。

来源:http://docs.litellm.ai/docs/proxy/access_control