- 我的帖子已经打上 开源推广 标签: 是
- 我的开源项目完整开源,无未开源部分: 是
- 我的开源项目已链接认可 LINUX DO 社区: 是
- 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
- 以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出
Karpathy 不同款的 LLM Wiki
我看了很多 Karpathy 同款的 LLM Wiki ,但是我觉得他们的对于我来说,没有什么用。
所以,我基于 [Karpathy llm-wiki]方法论,搭一套 Karpathy 不同款的 LLM Wiki 知识库。利用 AI 持续构建和维护 知识库, 自动整理为结构化的 wiki,并通过 Quartz 发布为静态wiki知识库网站。 还可以通过 claude_agent_sdk 调用 claude agent 使用 llm-wiki ,提供api接口对外访问服务 。
就是:Claude Agent SDK + LLM-wiki,变成最强大的agentic RAG 。 本项目主要展示了我制作的 llm-wiki 怎样通过 Claude Agent SDK 转为 agentic rag, 我自己测试很多,效果非常好的。 核心文件是: 7_wiki_writer.py , wiki_writer_api.py 。
开源地址
github.com
GitHub - liangdabiao/llm-wiki: 基于 [Karpathy llm-wiki]方法论,利用 AI...
基于 [Karpathy llm-wiki]方法论,利用 AI 持续构建和维护你的个人知识库。支持从多种素材源(网页、推特、公众号、小红书、知乎、YouTube、PDF、本地文件)自动整理为结构化的 wiki,并通过 Quartz 发布为静态wiki知识库网站。 并通过 claude_agent_sdk 调用 claude agent 使用 llm-wiki ,提供api接口对外访问服务 。
我的思路
传统的RAG系统的完整链路是这样的:ingest → chunk → index → retrieve → rerank → prompt-pack → generate → cite ,做过RAG的都知道,以上整个流程每一块都需要很多工作和魔法,才能让rag看上去能够回答问题,实际上复杂问题还是不能回答,总是错误,很难控制的好。 而Karpathy 大神的确非常深刻,过去几年最重要的ai概念都是他总结出来,都是看起来很简单,但是达到了最本质。我觉得他的llm wiki被大大低估了,这个东西就是开发ai的根。 这个wiki格式是非常重要,ai就是靠这个组织了整个知识,我认为 它一下子解决了rag全部问题,我已经不再用rag了,因为llm-wiki这个才是答案。 我还加上Quartz 它可以一键生成wiki网站,变成真正的知识库 。 基于这个东西,我可以搞很多厉害的项目,因为 理解越深,生成越深,本质就是这样搞ai 。
我的这个方案不需要RAG整个流程,利用Llm-wiki取代了它,然后套上 claude agent sdk,把整个方案打包成更好用的rag。
2 个帖子 - 2 位参与者