佬们,我想本地跑大模型,显卡有没有推荐的?

我目前配置: R7 5700X DDR4 3200 16G X 4 B550M 联想拯救者主板 淘宝买了个PCIEX4->X16转接板。 所以显卡是:RTX 4060 8G X 2 但是最近玩llama.cpp,试了半天,也就9B还稳定点,上下文开大点凑乎能跑。 Qwen3.6 35B-A3B试了各...
佬们,我想本地跑大模型,显卡有没有推荐的?
佬们,我想本地跑大模型,显卡有没有推荐的?

我目前配置:
R7 5700X
DDR4 3200 16G X 4
B550M 联想拯救者主板
淘宝买了个PCIEX4->X16转接板。
所以显卡是:RTX 4060 8G X 2

但是最近玩llama.cpp,试了半天,也就9B还稳定点,上下文开大点凑乎能跑。

Qwen3.6 35B-A3B试了各种办法,卸载专家到CPU啥的,只能稳定15-20token/s。而且首次预热贼慢。

打算买一块16G的显卡玩一玩,目前看到有:
RX7600 16G 跑大模型的测评视频几乎没有,只看到有个商单视频跑gpt20B那个测试还可以。
RTX5060ti 16G 据说是入门卡

想听听佬们的建议,像amd 7600这个跑起来能行吗,还是加钱5060ti?

31 个帖子 - 12 位参与者

阅读完整话题

来源: linux.do查看原文