向量数据库的正确用法是什么?

想用它预处理文档,然后帮助提取与关键字匹配的内容。看起来很理想,但实际提取不尽人意。 我做了个小工具,把切分后的每段,与关键字的匹配程度,可视化出来了,可以直观看到匹配度。 从网页内容中,提取“中国人民银行的编制”,效果不错: 从网页内容中,提取“中国人民银行的职责”,开头匹配的很好,但漏掉了接下来...
向量数据库的正确用法是什么?
向量数据库的正确用法是什么?


我做了个小工具,把切分后的每段,与关键字的匹配程度,可视化出来了,可以直观看到匹配度。

从网页内容中,提取“中国人民银行的编制”,效果不错:


从网页内容中,提取“中国人民银行的职责”,开头匹配的很好,但漏掉了接下来的那些:


可以看到,在提取“中国人民银行的职责”匹配的句段时,会漏掉枚举的那几条。

这可以说是段落拆分的问题,我是逐句拆分的,问题是,段落怎么才能合理拆分呢?如果必须知道哪些跟哪些是在一起的,那就相当于已经提前理解文章的内容了,就没有必要上向量数据库了。

所以,向量数据库如何做是比较合适的呢?就比如我上面的这种应用场景。
来源: V2EX - 技术查看原文