Jackrong大佬蒸馏的Qwopus3.6有点惊艳哦

最近在实验室上部署了Jackrong大佬的Qwopus3.6-27B-v1-preview,测试了一下效果很惊艳啊,开启的200k上下文,多模态,测试下来有几个我觉得挺不错的点: 在写天气卡片这种前端代码时不会过度思考,平均思考时间在几秒钟左右,然后就开始库吃库吃写,写出来的效果也不错。 在推理问题...
Jackrong大佬蒸馏的Qwopus3.6有点惊艳哦
Jackrong大佬蒸馏的Qwopus3.6有点惊艳哦

最近在实验室上部署了Jackrong大佬Qwopus3.6-27B-v1-preview,测试了一下效果很惊艳啊,开启的200k上下文,多模态,测试下来有几个我觉得挺不错的点:

  1. 在写天气卡片这种前端代码时不会过度思考,平均思考时间在几秒钟左右,然后就开始库吃库吃写,写出来的效果也不错。
  2. 在推理问题时思考时间就会明显的变长很多,用 类脑那边看到的简便测试模型逻辑推理、常识判断和陷阱识别的测试题集 这个佬分享的测试题,输出所有答案的推理时间在2-3分钟,纠错思考时间在4到5分钟,首次正确率5/10,告诉他对了五个但是不告诉它错了哪个,纠错后正确7/10
  3. 识图很快不知道是不是配置问题,发过去图基本上秒答,之前用3.5的时候会顿一下。

接下来我就把它部署在小龙虾上,佬友们有没有想要测试的问题啊,我都来测测 :bili_057:

Jackrong/Qwopus3.6-27B-v1-preview-GGUF-Q8_0的效果:

Qwopus3.6 天气卡片效果 (点击了解更多详细信息) Qwopus3.6 推理问题效果 (点击了解更多详细信息)

发现一个小问题,接入到hermes里面的时候,时不时会出现循环调用工具的情况

image

4 个帖子 - 3 位参与者

阅读完整话题

来源: linux.do查看原文