求问有佬做过大模型本地部署解决方案的吗

客户需要一个支持本地部署开源大模型的解决方案,预算两三百个吧,我也没做过这么大规模的,找AI生成感觉也就是看着行,不知道有没有佬了解这块的。需求是至少得跑 Qwen/Qwen3.5-397B-A17B-FP8 或同等级别的模型,并发和吞吐量还不能 特别 难看。 9 个帖子 - 4 位参与者 阅读完整...
求问有佬做过大模型本地部署解决方案的吗
求问有佬做过大模型本地部署解决方案的吗

客户需要一个支持本地部署开源大模型的解决方案,预算两三百个吧,我也没做过这么大规模的,找AI生成感觉也就是看着行,不知道有没有佬了解这块的。需求是至少得跑Qwen/Qwen3.5-397B-A17B-FP8或同等级别的模型,并发和吞吐量还不能特别难看。

9 个帖子 - 4 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文