2080ti - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn

2080ti - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 2 篇相关文章

关于双卡nvlink交火,部署qwen3.6 27b有问!

目前我有两张2080ti22g,不知道能不能nvlink双卡交火 如果可以的话就有44g的显存了,配合vllm,应该可以部署一个量化后的模型,并且可以拥有较高的上下文 有没有哪位佬试过两张2080ti22g双卡交火的佬,可以来说一下经验 1 个帖子 - 1 位参与者 阅读完整话题

tech linux.do 2026-04-29 16:29:23+08:00

2080ti 11g本地部署qwen 3.6 35b a3b,128k 上下文,67tps

我是windows上llama.cpp部署的,先看效果图。 这里面,我用的模型是 unsloth 量化的 Qwen3.6-35B-A3B-UD-IQ1_M 模型。 得益于其超强的量化,整个模型可以完美装在 2080ti 11g 显存里面,用 q4 量化上下文可以跑到128k 的上

tech linux.do 2026-04-26 16:52:57+08:00