【开源】手把手教你搭一套 Karpathy 不同款的 LLM Wiki 知识库

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺是永久有效的,接受社...
【开源】手把手教你搭一套 Karpathy 不同款的 LLM Wiki 知识库
【开源】手把手教你搭一套 Karpathy 不同款的 LLM Wiki 知识库
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
  • 我的帖子已经打上 开源推广 标签:
  • 我的开源项目完整开源,无未开源部分:
  • 我的开源项目已链接认可 LINUX DO 社区:
  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:
  • 以上选择我承诺是永久有效的,接受社区和佬友监督:

以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


Karpathy 不同款的 LLM Wiki

我看了很多 Karpathy 同款的 LLM Wiki ,但是我觉得他们的对于我来说,没有什么用。

所以,我基于 [Karpathy llm-wiki]方法论,搭一套 Karpathy 不同款的 LLM Wiki 知识库。利用 AI 持续构建和维护 知识库, 自动整理为结构化的 wiki,并通过 Quartz 发布为静态wiki知识库网站。 还可以通过 claude_agent_sdk 调用 claude agent 使用 llm-wiki ,提供api接口对外访问服务 。

就是:Claude Agent SDK + LLM-wiki,变成最强大的agentic RAG 。 本项目主要展示了我制作的 llm-wiki 怎样通过 Claude Agent SDK 转为 agentic rag, 我自己测试很多,效果非常好的。 核心文件是: 7_wiki_writer.py , wiki_writer_api.py 。

开源地址

github.com

GitHub - liangdabiao/llm-wiki: 基于 [Karpathy llm-wiki]方法论,利用 AI...

基于 [Karpathy llm-wiki]方法论,利用 AI 持续构建和维护你的个人知识库。支持从多种素材源(网页、推特、公众号、小红书、知乎、YouTube、PDF、本地文件)自动整理为结构化的 wiki,并通过 Quartz 发布为静态wiki知识库网站。 并通过 claude_agent_sdk 调用 claude agent 使用 llm-wiki ,提供api接口对外访问服务 。

我的思路

传统的RAG系统的完整链路是这样的:ingest → chunk → index → retrieve → rerank → prompt-pack → generate → cite ,做过RAG的都知道,以上整个流程每一块都需要很多工作和魔法,才能让rag看上去能够回答问题,实际上复杂问题还是不能回答,总是错误,很难控制的好。 而Karpathy 大神的确非常深刻,过去几年最重要的ai概念都是他总结出来,都是看起来很简单,但是达到了最本质。我觉得他的llm wiki被大大低估了,这个东西就是开发ai的根。 这个wiki格式是非常重要,ai就是靠这个组织了整个知识,我认为 它一下子解决了rag全部问题,我已经不再用rag了,因为llm-wiki这个才是答案。 我还加上Quartz 它可以一键生成wiki网站,变成真正的知识库 。 基于这个东西,我可以搞很多厉害的项目,因为 理解越深,生成越深,本质就是这样搞ai 。
我的这个方案不需要RAG整个流程,利用Llm-wiki取代了它,然后套上 claude agent sdk,把整个方案打包成更好用的rag。

2 个帖子 - 2 位参与者

阅读完整话题

来源: linux.do查看原文