公司有台服务器 NVIDIA 3090两块卡

大佬们 这种配置的机器,跑那种模型合适,使用ollama还是vllm跑? 1 个帖子 - 1 位参与者 阅读完整话题...
公司有台服务器 NVIDIA 3090两块卡
公司有台服务器 NVIDIA 3090两块卡

大佬们 这种配置的机器,跑那种模型合适,使用ollama还是vllm跑?

1 个帖子 - 1 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文