求问有佬做过大模型本地部署解决方案的吗

编辑部 2026-05-15T03:06:16.941231 13306 阅读综合

客户需要一个支持本地部署开源大模型的解决方案，预算两三百个吧，我也没做过这么大规模的，找AI生成感觉也就是看着行，不知道有没有佬了解这块的。需求是至少得跑 Qwen/Qwen3.5-397B-A17B-FP8 或同等级别的模型，并发和吞吐量还不能特别难看。 9 个帖子 - 4 位参与者阅读完整...

客户需要一个支持本地部署开源大模型的解决方案，预算两三百个吧，我也没做过这么大规模的，找AI生成感觉也就是看着行，不知道有没有佬了解这块的。需求是至少得跑Qwen/Qwen3.5-397B-A17B-FP8或同等级别的模型，并发和吞吐量还不能特别难看。

9 个帖子 - 4 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

求问模型本地部署解决方案一个帖子现在

求问有佬做过大模型本地部署解决方案的吗

[分享发现] AI 帮忙改小说，几天之内花了 40 刀

[问与答] 天塌了，数据库被黑客删库了，交 BTC 才会恢复数据，大家有办法恢复数据么

相关推荐