两件东西：Python SDK（litellm.completion() 一个接口调各家模型）和可自托管的 Proxy 网关（虚拟 Key、预算、限流、fallback、用量统计）。即便用户已经用本站做路由，LiteLLM 的「按模型分工 + 失败切换」思路和本地调试代理依然很实用。

适用场景：一个项目里要混用多家/多档模型、想在客户端一侧做 fallback 和成本统计、或给团队内部再套一层虚拟 Key。

litellm proxy gateway multi-model fallback cost

操作步骤

  1. 只做 SDK：pip install litellm，用 completion(model="openai/your-model-id", api_base="https://tokenbuddy.cc/v1", api_key=...)。
  2. 要做网关：用官方 Docker 镜像 + config.yaml 写 model_list，锁定版本号（见 pitfalls 的供应链事件）。
  3. 给每个应用/Agent 发独立虚拟 Key 并设 max_budget，出问题能单独吊销。
代码示例
  from litellm import completion
  r = completion(model="openai/your-model-id",
                 api_base="https://tokenbuddy.cc/v1",
                 api_key="{{API_KEY}}",
                 messages=[{"role": "user", "content": "Hi"}])
  print(r.choices[0].message.content)

开源项目信息

  • 仓库：https://github.com/BerriAI/litellm
  • Stars 口径：来源分歧较大——该 gist 称约 89k、另有文章称约 59k、还有来源称 2026-10-23 约 61.8k，不填报单一数字，以 GitHub 实时为准
  • 许可：核心 MIT（来源明示，企业版功能另行授权）
接入本站 API：把本站当作 LiteLLM 的一个 OpenAI 兼容上游即可；不要在本站路由之上再无脑叠一层重试，两层重试叠加会把 429 放大成重试风暴。

注意事项

  • ⚠️ 默认重试参数可能让故障时每请求先耗数秒才 fallback，上线前调 num_retries
  • ⚠️ 历史上有过 PyPI 恶意版本事件（来源提及 1.82.7/1.82.8），务必锁版本、优先官方镜像
  • ⚠️ 网关不是必需品——单应用直调本站更简单

来源：https://gist.github.com/Laurian/43296129324d3497d74c198cafa74068