求推荐本地Ai模型部署推荐以及部署模式推荐

现有环境 9950 64g GPU:pro6000 96g满血版 系统:ubuntu24.04 现有个人需求:龙虾以及小型api任务 包括但不限于翻译 编程 对话等 后续可能会有微调小模型的需求(玩/学) 目前了解到比较合适的模型:Qwen 3.6 27B 以及glm等开源模型 想求问两个问题 1....
求推荐本地Ai模型部署推荐以及部署模式推荐
求推荐本地Ai模型部署推荐以及部署模式推荐

现有环境 9950 64g GPU:pro6000 96g满血版 系统:ubuntu24.04
现有个人需求:龙虾以及小型api任务 包括但不限于翻译 编程 对话等 后续可能会有微调小模型的需求(玩/学)
目前了解到比较合适的模型:Qwen 3.6 27B 以及glm等开源模型
想求问两个问题
1.推荐部署的模型
2.推荐的部署方式(可能会有gui切换实时模型的需求)

5 个帖子 - 5 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文