请教一下 CPA 的多源轮询机制会不会显著降低缓存命中率?

比如我在 CPA 里给 deepseek-v4-pro 配置了多个上游 API 源。如果 CPA 在请求过程中不断轮询不同的 API provider,那么同一个长上下文会话是不是经常被发到不同的上游服务,导致服务端 prompt cache 不能稳定命中,这个理解对吗,向各位求教? 2 个帖子 -...
请教一下 CPA 的多源轮询机制会不会显著降低缓存命中率?
请教一下 CPA 的多源轮询机制会不会显著降低缓存命中率?

比如我在 CPA 里给 deepseek-v4-pro 配置了多个上游 API 源。如果 CPA 在请求过程中不断轮询不同的 API provider,那么同一个长上下文会话是不是经常被发到不同的上游服务,导致服务端 prompt cache 不能稳定命中,这个理解对吗,向各位求教?

2 个帖子 - 2 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文