什么是 MLX
MLX 是 Apple 专为 Apple Silicon（M1/M2/M3/M4）芯片优化的机器学习框架，类似于 PyTorch 但针对 Apple 统一内存架构进行了深度优化。
OpenClaw v2026.4.10 引入了实验性的 MLX 语音支持，让 Talk Mode 可以完全在本地运行：
- 隐私优先：语音永不离开设备
- 离线可用：无网络也能用
- 零 API 成本：不消耗第三方语音 API 配额
- 低延迟：本地推理减少网络往返
适用环境
硬件要求
- 必须是 Apple Silicon Mac：M1/M2/M3/M4 系列芯片
- 不支持 Intel Mac：MLX 仅支持 Apple Silicon
- 内存推荐 16GB+：8GB 也能跑但性能受限
- 存储空间：模型文件约 1-3GB
软件要求
- macOS 14（Sonoma）或更高版本
- OpenClaw v2026.4.10 或更高版本
- Python 3.10+ （用于 MLX 运行时）
安装步骤
1. 安装 MLX
# 创建虚拟环境（可选但推荐）
python3 -m venv ~/.openclaw/mlx-env
source ~/.openclaw/mlx-env/bin/activate
# 安装 MLX 和语音相关包
pip install mlx mlx-whisper mlx-tts
2. 下载语音模型
语音识别（STT）
# Whisper Large v3（推荐）
openclaw mlx download whisper-large-v3
# 或更小的模型（速度优先）
openclaw mlx download whisper-base
语音合成（TTS）
# 默认 TTS 模型
openclaw mlx download tts-default
# 中文优化模型
openclaw mlx download tts-chinese
3. 配置 OpenClaw
# config.yaml
voice:
enabled: true
# 启用本地 MLX
stt:
provider: "mlx"
model: "whisper-large-v3"
tts:
provider: "mlx"
model: "tts-default"
# Talk Mode 设置
talkMode:
wakeWord: "嘿龙虾" # 唤醒词
enabled: true
4. 启动 Talk Mode
openclaw talk start
或在 macOS 菜单栏点击 OpenClaw 图标 → Talk Mode。
性能调优
模型选择策略
| 模型 | 大小 | 速度 | 准确度 | 适合 |
|---|---|---|---|---|
| whisper-base | 140MB | 极快 | 一般 | 实时对话 |
| whisper-medium | 1.5GB | 快 | 良好 | 平衡场景 |
| whisper-large-v3 | 3GB | 中等 | 极佳 | 准确性优先 |
M 芯片对比
| 芯片 | Whisper Large 推理 | TTS 合成 |
|---|---|---|
| M1 8GB | 2-3x 实时 | 1.5x 实时 |
| M2 16GB | 4-5x 实时 | 2-3x 实时 |
| M3 Pro 36GB | 6-8x 实时 | 3-4x 实时 |
| M4 Max 64GB | 10x+ 实时 | 5x+ 实时 |
"Nx 实时"指的是 N 倍于真实播放速度。
内存优化
如果遇到内存压力：
voice:
stt:
provider: "mlx"
model: "whisper-medium" # 用更小模型
quantization: "int4" # 4-bit 量化
INT4 量化可以减少 75% 内存占用，速度甚至更快，准确度略降。
与云端方案对比
| 维度 | MLX 本地 | OpenAI Whisper API | ElevenLabs |
|---|---|---|---|
| 延迟 | 低（本地） | 中（API） | 中（API） |
| 隐私 | 完全 | API 看到内容 | API 看到内容 |
| 成本 | 一次性硬件 | 按使用付费 | 订阅 |
| 离线 | 可用 | 不可用 | 不可用 |
| 准确度 | 良好-极佳 | 极佳 | 极佳 |
| 设置复杂度 | 中 | 简单 | 简单 |
实际使用体验
中文识别
# 测试中文识别
openclaw voice test-stt --lang zh
实测在 M2 Pro 上：
- 普通话识别准确度：98%+
- 带口音识别：90%+
- 实时延迟：< 1 秒
中文合成
openclaw voice test-tts --text "你好，我是 OpenClaw 助手"
中文合成质量取决于模型，建议下载 tts-chinese。
故障排查
MLX 未安装
openclaw doctor voice
会提示安装步骤。
模型加载失败
# 重新下载模型
openclaw mlx download whisper-large-v3 --force
# 查看模型存储位置
openclaw mlx list
性能问题
# 监控 MLX 资源使用
openclaw mlx stats
# 切换到更小模型
openclaw config set voice.stt.model whisper-medium
麦克风权限
确保 OpenClaw 有麦克风权限：
系统设置 → 隐私与安全性 → 麦克风 → 启用 OpenClaw
与其他语音方案配合
智能切换
voice:
stt:
provider: "auto"
fallbackChain:
- mlx # 优先本地
- openai-whisper # 云端备份
fallbackOn:
- networkDown
- mlxUnavailable
场景化路由
voice:
routing:
sensitive:
provider: "mlx" # 敏感内容本地处理
public:
provider: "openai-whisper" # 公开内容用云端
注意事项
- MLX 语音是实验性功能，可能有 Bug
- 仅支持 Apple Silicon Mac
- 首次加载模型需要时间，后续加载会快很多
- TTS 中文合成质量目前不如 ElevenLabs，但持续改进中
- 模型文件占用磁盘空间较大，注意空间管理
- M1 8GB 设备运行较大模型可能影响其他应用
- 建议长时间不用时通过
openclaw mlx unload释放内存