使用的是Unsloth家的动态，选的Qwen3.6-27B-UD-Q5_K_XL.gguf量化版本，用的是5090单卡，32G vram，大家可以根据这个表格，快速选配下
目前输出感觉是 qwen 3.6 27B ≈ Jackrong/Qwen3.5-27B-GLM5.1 > qwen 3.6 35B_A3B ≈ qwen 3.5 27B
再期待下 其他家对 qwen 3.6 27B的进一步变种专训结果，有机会在Herems上再跑下~
附上启动参数，
-ngl 99 -c 262144 -np 1 -fa on --cache-type-k q4_0 --cache-type-v q4_0
–no-mmap --mlock --threads 16 --threads-batch 16 --batch-size 256 --ubatch-size 256
–temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --repeat-penalty 1.0
2 个帖子 - 1 位参与者
来源: linux.do查看原文