最近在考虑企业业务中接入模型 API，想请教一下佬们怎么评估供应商对企业供应的稳定性，以及如何设计比较稳妥的接入架构。
我现在主要关心几个问题：
- 供应商稳定性应该怎么评估？
除了价格和模型效果以外，企业接入时应该重点看哪些指标
推荐阅读
[程序员] 开中转站好难赚钱啊！不想搞了😂，这个月免费给大家用吧，下个月计划关站了
推荐阅读
[问与答] 58 元买断的软件，希望可以终生维护，为什么 58 元买的衣服，吃的快餐，没有同样的要求呢？
- 可用性
- 平均响应时间
- P95 / P99 延迟
- 错误率
- 限流策略
- 高峰期稳定性
- 故障响应速度
- SLA 应该怎么定义？
和供应商约定稳定性指标，哪些条款比较有实际意义
- 可用性怎么统计
- 5xx、超时、限流是否计入不可用。特别是网络问题如何划定边界
- 响应时间过长是否算服务异常
- 故障恢复时间应该怎么约定
- 不达标时一般是服务补偿、费用抵扣，还是其他方式
- 多供应商 fallback 应该怎么做
如果同时接入多个模型 API 或多个供应商，比较合理的容灾方式是什么
目前想到的方案包括：
- 主备供应商切换
- 按错误率自动熔断
- 超时后切换备用模型
- 按模型能力做路由
- 按成本和延迟做动态选择
- 对关键请求做降级策略
但这里可能会遇到上下文兼容、返回格式差异、模型效果不一致、成本失控等问题。
- 监控和告警应该怎么设计？
比较想知道大家一般会监控哪些指标：
- 请求量
- 成功率
- 错误码分布
- 超时率
- 平均延迟
- P95 / P99 延迟
- token 消耗
- 单请求成本
- 余额或额度
- 不同供应商之间的可用性对比
是否有比较成熟的监控面板或日志结构可以参考？
- 压测应该怎么做？
在正式接入前，如何判断一个 API 供应商是否能支撑业务峰值
压测时应该关注 QPS、并发、长文本输入、流式输出、多轮上下文，还是其他指标
我也正在摸索，希望有实际接入经验的朋友分享一下工程侧的判断标准。
另外最重要的一点，接外网大模型签的SLA合规吗，是否受保护 
1 个帖子 - 1 位参与者
来源: LinuxDo 最新话题查看原文