Skip to content

调用树新在线 API 请求超时 / 502 / 504 排查

先分清超时发生在哪一层

超时可能源于客户端设置过短、中间 CDN 或代理超时上限,或上游模型生成缓慢。判断方法:客户端直接抛出 timeout 异常为本地问题;收到 HTTP 502/504 响应体则为中间层或上游超时。

长补全最有效的一招是开流式

非流式请求需等整段生成完毕才返回首字节,长回答易触发中间超时。开启 stream: true 后首 token 快速抵达,连接保持活跃。请求中添加 "stream": true 即可。

客户端超时设置

Python SDK 示例:

python
from openai import OpenAI
client = OpenAI(base_url="https://api.treenew.online/v1", timeout=180)

长任务请调大 timeout 值。

502 / 504 的含义

这些状态码由中间层返回,表示上游未在限定时间内响应。与业务错误不同。短暂出现可重试,持续出现需反馈。

重试要注意

长请求非幂等,盲目重试可能重复计费。建议使用指数退避并限制重试次数。

什么时候该反馈

问题持续、可复现且仅特定模型出现时,请提供复现步骤反馈。

相关