调用树新在线 API 请求超时 / 502 / 504 排查
先分清超时发生在哪一层
超时可能源于客户端设置过短、中间 CDN 或代理超时上限,或上游模型生成缓慢。判断方法:客户端直接抛出 timeout 异常为本地问题;收到 HTTP 502/504 响应体则为中间层或上游超时。
长补全最有效的一招是开流式
非流式请求需等整段生成完毕才返回首字节,长回答易触发中间超时。开启 stream: true 后首 token 快速抵达,连接保持活跃。请求中添加 "stream": true 即可。
客户端超时设置
Python SDK 示例:
python
from openai import OpenAI
client = OpenAI(base_url="https://api.treenew.online/v1", timeout=180)长任务请调大 timeout 值。
502 / 504 的含义
这些状态码由中间层返回,表示上游未在限定时间内响应。与业务错误不同。短暂出现可重试,持续出现需反馈。
重试要注意
长请求非幂等,盲目重试可能重复计费。建议使用指数退避并限制重试次数。
什么时候该反馈
问题持续、可复现且仅特定模型出现时,请提供复现步骤反馈。