请教下,接入多个中转api如何监控和做好调用调度

我是自己的产品,里面有些功能需要调用gemini、veo、image2这些模型,之前一直用单独一家中转站,只做了重试没有其他兜底,后来发现受上游中转站的影响太大了,很容易服务崩掉然后客户叼来,所以现在想多接几个中转渠道 我心里的想法最优方案是最好能监控各个中转的我需要的模型的状态,然后优先连接最优的...
请教下,接入多个中转api如何监控和做好调用调度
请教下,接入多个中转api如何监控和做好调用调度

我是自己的产品,里面有些功能需要调用gemini、veo、image2这些模型,之前一直用单独一家中转站,只做了重试没有其他兜底,后来发现受上游中转站的影响太大了,很容易服务崩掉然后客户叼来,所以现在想多接几个中转渠道
我心里的想法最优方案是最好能监控各个中转的我需要的模型的状态,然后优先连接最优的,直接盲盒请求然后兜底重试对于有些任务来说等待时间太长了

或者有没有佬有更好的办法指点一下,拜谢拜谢

1 个帖子 - 1 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文