求推荐本地Ai模型部署推荐以及部署模式推荐

编辑部 2026-05-12T04:31:39.698752 25301 阅读综合

现有环境 9950 64g GPU:pro6000 96g满血版系统:ubuntu24.04 现有个人需求:龙虾以及小型api任务包括但不限于翻译编程对话等后续可能会有微调小模型的需求（玩/学）目前了解到比较合适的模型:Qwen 3.6 27B 以及glm等开源模型想求问两个问题 1....

现有环境 9950 64g GPU:pro6000 96g满血版系统:ubuntu24.04
现有个人需求:龙虾以及小型api任务包括但不限于翻译编程对话等后续可能会有微调小模型的需求（玩/学）
目前了解到比较合适的模型:Qwen 3.6 27B 以及glm等开源模型
想求问两个问题
1.推荐部署的模型
2.推荐的部署方式（可能会有gui切换实时模型的需求）

5 个帖子 - 5 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

推荐本地 Ai 模型部署一个 IT 之家

求推荐本地Ai模型部署推荐以及部署模式推荐

小白请教codex相关问题【安装插件相关】

Bybit卡终于搞定了，10分钟搞定了

相关推荐