压缩上下文居然吃不到缓存?告诉我不是最后一个知道的

Copilot 难民无法承受高昂的 AI 费用,终于堕落到使用中转站了,为此专门搭了个中转站的中转站 metapi, 本意是方便切换中转站的话,不用修改客户端配置, 后台有记录使用日志,能记录输入输出缓存以及价格, 偶然发现,在大部分走缓存的情况下,会突然出现一个请求,基本不走缓存,导致单独这一个请...
压缩上下文居然吃不到缓存?告诉我不是最后一个知道的
压缩上下文居然吃不到缓存?告诉我不是最后一个知道的

后台有记录使用日志,能记录输入输出缓存以及价格, 偶然发现,在大部分走缓存的情况下,会突然出现一个请求,基本不走缓存,导致单独这一个请求价格特别高,基本上在 10 倍左右

今天留意了一下,感觉像是压缩上下文导致的。最后一次主动压缩终于确认,就是压缩上下文,
我想了一下,应该是压缩上下文的请求中指令有一些不一样,导致这个不同点之后的内容全部缓存不到,

应该不是中转站本身的问题吧?

亏我原本还想着为了省 token ,提高了使用主动压缩上下文的频率。原以为一个小任务结束,压缩一下再继续是最好的,坑了,
来源: V2EX - 技术查看原文