探讨文献搜索器开发方案

佬友们,我最近想做一个 AI 文献搜索器,想先来问问大家的相关技术经验。 我的想法是:输入一个研究主题,比如“机制砂石粉在砂浆/混凝土中的应用”,ai搜索器自动帮我做几件事: 中英文关键词扩展 多个公开文献源检索 文献去重和相关性排序 摘要/结论提取 按研究方向分类 导出 Excel、Markdow...
探讨文献搜索器开发方案
探讨文献搜索器开发方案

佬友们,我最近想做一个 AI 文献搜索器,想先来问问大家的相关技术经验。

我的想法是:输入一个研究主题,比如“机制砂石粉在砂浆/混凝土中的应用”,ai搜索器自动帮我做几件事:

  1. 中英文关键词扩展
  2. 多个公开文献源检索
  3. 文献去重和相关性排序
  4. 摘要/结论提取
  5. 按研究方向分类
  6. 导出 Excel、Markdown 或参考文献列表
  7. 后续可能支持 PDF 上传后总结

目前考虑的数据源有 OpenAlex、Semantic Scholar、Web of Science、arXiv 等。中文文献源就是知网和万方,可能先做手动导入或题录匹配,这里是否一定需要相关账号才可以执行?之前尝试了一下,发现知网的反爬还是挺严重的。

另外在做之前想请教大家几个问题:

  1. 做文献检索工具,最值得优先解决的痛点是什么?
  2. 有哪些公开 API 或开源项目值得参考?
  3. 中文文献有没有推荐的处理方案?
  4. AI 判断文献相关性、总结摘要,实际体验会不会很容易“看起来对,实际不准”?
  5. 第一版 MVP 做到什么程度比较合适?

我主要想做一个真正能提高科研/工程文献检索效率的小工具,不是套壳聊天机器人。欢迎佬友们拍砖,需求建议、技术路线、反面经验都可以。

4 个帖子 - 4 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文