求问有佬做过大模型本地部署解决方案的吗

编辑部 2026-05-15T01:57:09.949987 9681 阅读综合

客户需要一个支持本地部署开源大模型的解决方案，预算两三百个吧，我也没做过这么大规模的，找AI生成感觉也就是看着行，不知道有没有佬了解这块的。需求是至少得跑 Qwen/Qwen3.5-397B-A17B-FP8 或同等级别的模型，并发和吞吐量还不能特别难看。 9 个帖子 - 4 位参与者阅读完整...

客户需要一个支持本地部署开源大模型的解决方案，预算两三百个吧，我也没做过这么大规模的，找AI生成感觉也就是看着行，不知道有没有佬了解这块的。需求是至少得跑Qwen/Qwen3.5-397B-A17B-FP8或同等级别的模型，并发和吞吐量还不能特别难看。

9 个帖子 - 4 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

求问模型本地部署解决方案一个帖子现在

求问有佬做过大模型本地部署解决方案的吗

Bun 用 Rust 重写的 PR 已合并到主分支

拒稿了，能接受但是还是感觉心里空落落的

相关推荐