首先感谢下L站佬友提供的公益站 gpt-image-2 生图模型,在分享之前先抛一个问题:
AI工具也是通过new api 网关统一调用,把L站佬友提供的公益站也加入了聚到,上游生图超过60s正常响应,自己的网关60s超时:
status_code=504, The origin web server did not respond to Cloudflare within the allowed time. This typically means the origin is overloaded or a backend process is taking too long.

new api容器也设置超时相关的配置:
[投资] 大家标普纳指是买的场内还是场外?
Harness 工程分享:我们怎么把 LLM Agent 的 prompt cache 命中率做到 90%+(附 4 家 Agent 横评数据)
RELAY_TIMEOUT=180
STREAMING_TIMEOUT=300
各位佬友有没有遇到过这样的场景,如何解决的?当然我这里的线上工具也提供了自定义模型供应商的方式直连解决,只是说能够统一的话更好。以下是分享:






6 个帖子 - 4 位参与者