我本地部署了 gemma 26B Q5-K-M,显卡12G,我发现它竟然不会用工具。

是否我哪里配置错误了? E4B 的 gemma 会用 websearch 或者 curl 去查,但26B 的几竟然不会! 部署方式:OLLMA + gemma 26B Q5-K-M (量化版本),显存12GB,4070TI + 64G 内存。 2 个帖子 - 2 位参与者 阅读完整话题...
我本地部署了 gemma 26B Q5-K-M,显卡12G,我发现它竟然不会用工具。
我本地部署了 gemma 26B Q5-K-M,显卡12G,我发现它竟然不会用工具。

是否我哪里配置错误了? E4B 的 gemma 会用 websearch 或者 curl 去查,但26B 的几竟然不会!
部署方式:OLLMA + gemma 26B Q5-K-M (量化版本),显存12GB,4070TI + 64G 内存。

2 个帖子 - 2 位参与者

阅读完整话题

来源: linux.do查看原文