压缩上下文居然吃不到缓存？告诉我不是最后一个知道的

编辑部 2026-05-11T01:46:40.059324 5061 阅读 tech

Copilot 难民无法承受高昂的 AI 费用，终于堕落到使用中转站了，为此专门搭了个中转站的中转站 metapi, 本意是方便切换中转站的话，不用修改客户端配置, 后台有记录使用日志，能记录输入输出缓存以及价格, 偶然发现，在大部分走缓存的情况下，会突然出现一个请求，基本不走缓存，导致单独这一个请...

后台有记录使用日志，能记录输入输出缓存以及价格, 偶然发现，在大部分走缓存的情况下，会突然出现一个请求，基本不走缓存，导致单独这一个请求价格特别高,基本上在 10 倍左右

今天留意了一下，感觉像是压缩上下文导致的。最后一次主动压缩终于确认，就是压缩上下文，
我想了一下，应该是压缩上下文的请求中指令有一些不一样，导致这个不同点之后的内容全部缓存不到，

应该不是中转站本身的问题吧？

亏我原本还想着为了省 token ，提高了使用主动压缩上下文的频率。原以为一个小任务结束，压缩一下再继续是最好的，坑了，

来源: V2EX - 技术查看原文

压缩上下文居然不到缓存一个 AI 帖子

压缩上下文居然吃不到缓存？告诉我不是最后一个知道的

[分享创造] 写了一个 Beancount iOS 客户端，可能是 AI 时代下记账类应用的终点

Krio反代问题

相关推荐