求大佬儿解答刚开始做RAGchunk长度一般先设多少

各位佬儿,我最近在自己搭一个简单的RAG问答,数据量不大,主要是文档和一些FAQ。现在有点卡在chunk这块,不太确定一开始该怎么设比较稳,比如按字数切还是按段落切更合适,chunk size和overlap大概放在什么范围比较常见?我试了几组参数,效果有时候还行有时候又很飘。想问下大家刚起步时一般...
求大佬儿解答刚开始做RAGchunk长度一般先设多少
求大佬儿解答刚开始做RAGchunk长度一般先设多少

各位佬儿,我最近在自己搭一个简单的RAG问答,数据量不大,主要是文档和一些FAQ。现在有点卡在chunk这块,不太确定一开始该怎么设比较稳,比如按字数切还是按段落切更合适,chunk size和overlap大概放在什么范围比较常见?我试了几组参数,效果有时候还行有时候又很飘。想问下大家刚起步时一般怎么定这个参数

1 个帖子 - 1 位参与者

阅读完整话题

来源: linux.do查看原文