电商购物排重有无解决方案？大量相同商品挑起来太难受了用ai写个插件自己一页一页翻只抓页面缓存爬下来然后做图片去重结果爬了没多少就被逮住了

编辑部 2026-05-24T08:34:04.432978 24273 阅读 tech

有没有好用爬取方案或者去重方案可以用？我只想在关键词搜索后把搜索结果抓下来然后去重方便挑东西没有人觉得这个问题很蛋疼吗我真遭不住了划得手指冒烟结果全是那几个品来来回回的 1 个帖子 - 1 位参与者阅读完整话题...

电商购物排重有无解决方案？大量相同商品挑起来太难受了用ai写个插件自己一页一页翻只抓页面缓存爬下来然后做图片去重结果爬了没多少就被逮住了

有没有好用爬取方案或者去重方案可以用？我只想在关键词搜索后把搜索结果抓下来然后去重方便挑东西
没有人觉得这个问题很蛋疼吗我真遭不住了划得手指冒烟结果全是那几个品来来回回的

1 个帖子 - 1 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

电商购物排重有无解决方案一个帖子 AI