原来DeepSeek缓存机制是这个

这几天因为新模型体验了一下 DeepSeek 的 API,发现它的缓存命中率很高!(而且又打折了,泪目了) 所以有点好奇咋做的,就去翻了翻官方文档。才发现ds原来用的是硬盘存的缓存,有点没想到。 据说会保存几小时到几天(相比之下分钟级我不好评价,虽然推测可能他们用的是内存存缓存吧) 实际使用响应也挺...
原来DeepSeek缓存机制是这个
原来DeepSeek缓存机制是这个

这几天因为新模型体验了一下 DeepSeek 的 API,发现它的缓存命中率很高!(而且又打折了,泪目了)
所以有点好奇咋做的,就去翻了翻官方文档。才发现ds原来用的是硬盘存的缓存,有点没想到。

image

据说会保存几小时到几天(相比之下分钟级我不好评价,虽然推测可能他们用的是内存存缓存吧)
实际使用响应也挺快的,没感受到硬盘会相对比较慢,应该是调度做的比较好。

image

附上官方文档链接:

api-docs.deepseek.com

上下文硬盘缓存 | DeepSeek API Docs

DeepSeek API 上下文硬盘缓存技术对所有用户默认开启,用户无需修改代码即可享用。

1 个帖子 - 1 位参与者

阅读完整话题

来源: linux.do查看原文