4090D 运行Qwen3.6 27B,85tokens/s,接入 pi,打开了新世界!

模型: Qwen3.6-27B-Q4_K_M-mtp.gguf 上下文: 220672 MTP: pt=3 KV cache: q4_0 这个输出速度,简直绝了,从来没有过这么丝滑的体验 把pi放进nono里运行,加一层防护更安心,和它一起完成了另一个模型在远端的部署准备工作 智力还行,速度绝了 4...
4090D 运行Qwen3.6 27B,85tokens/s,接入 pi,打开了新世界!
4090D 运行Qwen3.6 27B,85tokens/s,接入 pi,打开了新世界!
模型: Qwen3.6-27B-Q4_K_M-mtp.gguf
上下文: 220672
MTP: pt=3
KV cache: q4_0

这个输出速度,简直绝了,从来没有过这么丝滑的体验

把pi放进nono里运行,加一层防护更安心,和它一起完成了另一个模型在远端的部署准备工作

智力还行,速度绝了

image

4 个帖子 - 4 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文