当前位置：首页 > news >正文

Python实战：手写一个LLM API统一网关，实现DeepSeek/通义千问/OpenAI多Provider自动容灾切换

news 2026/6/12 4:59:53

通义千问又挂了？我写了一个 LLM Gateway，自动帮你切换到 DeepSeek

你的 LLM 应用，不应该因为一个 API 挂了就瘫痪。

引言

上个月通义千问 API 故障了 2 小时，我朋友的 AI 客服直接瘫痪了。用户问什么都回复"服务暂时不可用"。

其实 DeepSeek 的 API 是好的，但他的代码里只配了通义千问一个 Provider。

手动切换？改代码、改配置、重启服务，至少 30 分钟。

这个问题完全可以用一个统一网关来解决。于是我写了LLM Gateway—— 在你的应用和 LLM Provider 之间加一层，自动处理容灾、路由、统计。

你是不是也遇到过这些问题？

1. Provider 偶尔抽风

大模型 API 不稳定是常态。DeepSeek 限速、通义千问维护、OpenAI 网关超时——每个月总要来几次。你的应用停摆，用户不知道发生了什么。

2. 手动切换太慢

发现 API 挂了 → 改配置文件 → 改代码 → 测试 → 重启服务。30 分钟过去了。

3. 多个 Provider，管理混乱

DeepSeek 便宜但偶尔慢，通义千问稳定但贵，OpenAI 质量好但不稳定。每个 API 的base_url、api_key、模型名都不一样，每次切换都要翻文档。

LLM Gateway 怎么解决的？

最简单的使用方式

# 1. 安装 git clone https://github.com/Vincent-crypto-coder/llm-gateway.git cd llm-gateway pip install -r requirements.txt  # 2. 配置 cp config.example.yaml config.yaml # 编辑 config.yaml，填入 API Key  # 3. 启动 python -m gateway --config config.yaml --port 8000

客户端代码一行不用改

from openai import OpenAI  # 只改 base_url，其他不变 client = OpenAI(api_key="any-key", base_url="http://localhost:8000/v1")  response = client.chat.completions.create( model="deepseek-chat", messages=[{"role": "user", "content": "你好"}] )

就这么简单。你的应用只需要指向 Gateway，它帮你搞定剩下的事情。

核心功能

自动容灾

配置多个 Provider，Gateway 自动切换：

providers: - name: deepseek base_url: https://api.deepseek.com api_key: ${DEEPSEEK_API_KEY} models: [deepseek-chat] priority: 1 # 最高优先级  - name: dashscope base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 api_key: ${DASHSCOPE_API_KEY} models: [qwen-turbo, qwen-plus] priority: 2 # DeepSeek 挂了，自动切到这里  failover: strategy: priority failure_threshold: 3 # 连续失败 3 次后标记不可用 recovery_interval: 300 # 5 分钟后自动恢复

DeepSeek 正常时，请求走 DeepSeek。DeepSeek 连续失败 3 次后，自动切到通义千问。5 分钟后 DeepSeek 恢复了，自动切回来。

3 种路由策略

failover: strategy: lowest-latency # 选延迟最低的 Provider

策略	说明	适用场景
`priority`	按优先级顺序	默认，优先用便宜的
`round-robin`	轮流调用	负载均衡
`lowest-latency`	选最快的	延迟敏感的场景

用量统计

curl http://localhost:8000/stats?days=7

返回每个 Provider、每个模型的调用次数和花费。帮你回答"这个月 API 花了多少钱"。

Provider 状态监控

curl http://localhost:8000/status

一目了然：哪些 Provider 健康、延迟多少、失败率多少。

架构

┌─────────────┐ ┌─────────────────────┐ ┌─────────────────┐ │ 你的应用 │────▶│ LLM Gateway │────▶│ DeepSeek │ │ (OpenAI │ │ │ │ 优先级 1 │ │ SDK) │ │ /v1/chat/completions│ ├─────────────────┤ │ │◀────│ OpenAI 兼容 API │──X──│ 通义千问 │ └─────────────┘ │ │ │ (备用) │ │ Router + Tracker │ ├─────────────────┤ │ SQLite 用量统计 │ │ OpenAI │ └─────────────────────┘ │ (备选) │ └─────────────────┘

Gateway 对外提供 OpenAI 兼容的 API，对内路由到配置的各个 Provider。