现象
- HTTP 状态码 524(或网关返回的超时类错误)
- 客户端长时间等待后失败
- 流式请求中途断开
常见原因
- 模型推理时间过长(大模型、长上下文、推理模型)
- 生成 token 过多(
max_tokens过大) - 客户端 读超时 设置过短
- 网络不稳定或跨境链路延迟高
- 图像 / 音频 / 视频等 重任务 超过同步等待上限
处理步骤
1
缩短单次请求
减少
max_tokens、压缩 prompt、换用更快模型(如 flash / mini 系列)。2
调大客户端超时
SDK / HTTP 客户端读超时建议 ≥ 120s(按业务调整),流式场景需持续读流。
3
改用流式
对话场景设置
"stream": true,尽早收到首包,降低「长时间无响应」感受。见 文本对话。4
异步任务类能力
若 API 返回
task_id,按厂商文档轮询任务状态,勿单次同步等待过久。5
重试
超时偶发时可重试 1~2 次;持续失败请换模型或联系支持。
