项目描述:自动匹配猫鼠队梗图
相信你经常在某站、某音看到评论群会根据视频的特定抽象画面发送猫和老鼠的截图,于是有了个创建一个自动匹配猫和老鼠梗图的想法。
项目核心实现思路:向量检索
项目实现流程:
- 数据集收集:下载猫和老鼠视频(我用的是经典版157集)
- 数据处理:
- 抽帧,用ffmepg对视频进行抽帧
- 画面去重与清洗
- 提取特征向量(核心):将清洗后的每一张《猫和老鼠》截图输入到 CLIP 模型 中,模型会为每张图片输出一个高维向量(比如512维的数组)。
- 存入向量数据库:构建双轨数据库 (FAISS + SQLite)
- 处理用户输入的截图
用前20集测试了一下,感觉效果还行(后续会根据效果换模型)
3 个帖子 - 3 位参与者