关于双卡nvlink交火,部署qwen3.6 27b有问!

目前我有两张2080ti22g,不知道能不能nvlink双卡交火 如果可以的话就有44g的显存了,配合vllm,应该可以部署一个量化后的模型,并且可以拥有较高的上下文 有没有哪位佬试过两张2080ti22g双卡交火的佬,可以来说一下经验 1 个帖子 - 1 位参与者 阅读完整话题...
关于双卡nvlink交火,部署qwen3.6 27b有问!
关于双卡nvlink交火,部署qwen3.6 27b有问!

目前我有两张2080ti22g,不知道能不能nvlink双卡交火
如果可以的话就有44g的显存了,配合vllm,应该可以部署一个量化后的模型,并且可以拥有较高的上下文
有没有哪位佬试过两张2080ti22g双卡交火的佬,可以来说一下经验

1 个帖子 - 1 位参与者

阅读完整话题

来源: linux.do查看原文