LiteLLM 统一模型网关配置

2025-07-10 · 5 分钟模型接入

概述

LiteLLM 是一个开源的 LLM 代理网关，通过统一的 OpenAI 兼容 API 将 100 余个模型提供商（OpenAI、Anthropic、Gemini、Ollama 等）聚合在一起。对于需要在团队内集中管控 API Key、设置用量预算、或在私有网络内部署模型访问服务的场景，LiteLLM 是理想的中间层方案。OpenClaw 可以像使用本地 OpenAI 兼容服务一样对接 LiteLLM 代理。

快速开始

第一步：安装并启动 LiteLLM

pip install 'litellm[proxy]'
litellm --model claude-opus-4-6

默认监听 http://localhost:4000。

第二步：配置 OpenClaw 接入网关

export LITELLM_API_KEY="sk-litellm-key"
openclaw onboard --auth-choice litellm-api-key

配置参数

{
  env: {
    LITELLM_API_KEY: "sk-litellm-key"
  },
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",  // LiteLLM 代理地址
        api: "openai-completions",
        models: [
          {
            id: "claude-opus-4-6",
            name: "Claude Opus 4.6 (via LiteLLM)",
            reasoning: true,
            inputTypes: ["text", "image"],
            contextWindow: 200000,
            maxTokens: 8192
          },
          {
            id: "gpt-4o",
            name: "GPT-4o (via LiteLLM)",
            reasoning: false,
            inputTypes: ["text", "image"],
            contextWindow: 128000,
            maxTokens: 4096
          }
        ]
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "litellm/claude-opus-4-6"
      }
    }
  }
}

支持的模型

LiteLLM 网关背后可以路由到任意已配置的提供商模型。在 OpenClaw 中，模型 ID 对应 LiteLLM 配置中的虚拟模型名称。常见用法：

litellm/claude-opus-4-6 → 路由到 Anthropic Claude
litellm/gpt-4o → 路由到 OpenAI GPT-4o
litellm/gemini-pro → 路由到 Google Gemini

具体可用模型取决于你的 LiteLLM 实例配置。

虚拟密钥管理

LiteLLM 支持创建具有预算限制的虚拟 API Key，便于团队分配用量：

curl -X POST "http://localhost:4000/key/generate" \
  -H "Authorization: Bearer ${LITELLM_MASTER_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "dev-team",
    "max_budget": 10.0,
    "budget_duration": "monthly"
  }'

生成的虚拟 Key 可以作为 LITELLM_API_KEY 分发给各个成员，互不影响。

注意事项

主密钥与普通密钥区分：LITELLM_MASTER_KEY 用于管理操作（创建密钥、查看日志），LITELLM_API_KEY 用于模型推理调用，两者职责不同，不要混用。

模型 ID 须手动声明：与其他自动发现模型的提供商不同，LiteLLM 集成需要在 OpenClaw 配置文件中显式列出每个模型的参数（上下文窗口、最大 token 等），以便 OpenClaw 正确调度。

远程部署：如果 LiteLLM 代理部署在远程服务器而非本机，将 baseUrl 替换为对应地址。建议在生产环境中为 LiteLLM 配置 HTTPS 和访问鉴权，避免 API Key 在网络传输中泄露。

用量监控：通过 GET /spend/logs 端点查看历史用量，GET /key/info 查看当前密钥状态，便于成本追踪与审计。