分享一个节约token,并提高AI智商的思路

新人第一帖,这个也是烟雨大佬推荐解决AI长期记忆的一个思路,我只是分享给大伙.佬们轻喷 众所周知LLM模型 上下文填得越满,LLM输出质量越差 。以 168K token 的上下文窗口为例,大约用到 40% 就开始走下坡路了。 如果能通过长期记忆解决部分上下文读取的问题也是好的. 推荐的项目是 Me...
分享一个节约token,并提高AI智商的思路
分享一个节约token,并提高AI智商的思路

新人第一帖,这个也是烟雨大佬推荐解决AI长期记忆的一个思路,我只是分享给大伙.佬们轻喷

众所周知LLM模型 上下文填得越满,LLM输出质量越差。以 168K token 的上下文窗口为例,大约用到 40% 就开始走下坡路了。

如果能通过长期记忆解决部分上下文读取的问题也是好的.

推荐的项目是 MemOS. MemOS
地址在: GitHUb
官网在: 官网地址

MemOS一个面向大型语言模型(LLM)和人工智能代理的内存操作系统,统一了存储/检索/管理,实现了长期记忆的上下文感知和个性化交互,内置了知识库、多模态工具存储器和企业级优化功能。

按官方说法,使用opneclaw加入memOS,tonken使用降低72%.

之前使用小龙虾的时候确实是可以完美实现云记忆,降低token增加智商的 :+1:

memOS会自动判断哪些值得存储,同时官方提供了MCP和云存储服务,可以简单上手.不过我今天不是说的这个,重点是memOs可以自己手动部署,同时使用低消耗的本地模型来运行存储和读取记忆,不花一分钱,所有记忆保持在本地,实测每次读取记忆在10秒内,我觉得效果是非常棒的了.
这是我在本地运行的效果,本地的MCP:

QQ_1780731273136

具体的本地搭设和效果我说的就不够详细了,佬们直接烟雨大佬的博客吧

烟雨佬的博客文章

如果这个思路佬们觉得有用可以留言交流,如果使用后有帮助也请反馈使用效果,谢谢

7 个帖子 - 3 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文