Groq 高速推理引擎配置

2025-07-10 · 4 分钟模型接入

概述

Groq 以自研的 LPU（Language Processing Unit）芯片著称，相较于传统 GPU 推理速度快数倍，每秒生成 token 数远超业内均值。对于需要低延迟实时响应的编码辅助场景，Groq 是非常值得尝试的选项。OpenClaw 原生支持 Groq，提供者 ID 为 groq，底层基于 OpenAI 兼容 API 协议。

快速开始

第一步：获取 API Key

前往 console.groq.com/keys 创建 API Key，格式以 gsk_ 开头。

第二步：设置环境变量

export GROQ_API_KEY="gsk_xxxxxxxxxxxxxxxxxxxx"

第三步：初始化配置

openclaw onboard --provider groq

配置参数

{
  env: {
    GROQ_API_KEY: "gsk_xxxxxxxxxxxxxxxxxxxx"
  },
  agents: {
    defaults: {
      model: {
        primary: "groq/llama-3.3-70b-versatile"
      }
    }
  }
}

若你希望专门使用 Groq 的快速轻量模型处理简单任务，可以配置辅助模型：

{
  agents: {
    defaults: {
      model: {
        primary: "groq/llama-3.3-70b-versatile",
        background: "groq/llama-3.1-8b-instant"
      }
    }
  }
}

支持的模型

模型 ID	特点
`groq/llama-3.3-70b-versatile`	通用旗舰，推理能力强，上下文窗口大
`groq/llama-3.1-8b-instant`	极速轻量，适合实时补全
`groq/gemma2-9b-it`	Google Gemma 2，高效紧凑
`groq/mixtral-8x7b-32768`	Mixtral MoE 架构，擅长多步推理

运行以下命令查看当前可用模型列表：

openclaw models list | grep groq

音频转录支持

Groq 还提供基于 Whisper 的语音转录能力，可以用于 OpenClaw 的媒体理解功能：

{
  tools: {
    media: {
      understanding: {
        audio: {
          models: [{ provider: "groq", model: "whisper-large-v3-turbo" }]
        }
      }
    }
  }
}

注意事项

速率限制：Groq 免费套餐有严格的 RPM（每分钟请求数）和 TPM（每分钟 token 数）限制，生产环境建议升级到付费套餐。

后台守护进程：若通过 launchd 或 systemd 以守护进程方式运行 OpenClaw Gateway，系统环境变量可能无法自动注入。建议将 GROQ_API_KEY 写入 ~/.openclaw/.env 文件，确保进程启动时能读取到。

模型更新：Groq 平台上的可用模型会随时更新，旧版本模型 ID 可能被弃用。建议定期运行 openclaw models list 确认模型可用性，避免生产环境因模型下线而中断。