本地部署模型推荐请教

编辑部 2026-05-22T23:49:22.925334 29845 阅读综合

各位佬友，公司打算提供一个算力服务器，供开发使用，目前开发人员数量大概 40 人左右，服务器配置如下，根据这个配置，最适合公司的模型是什么？用 vllm 部署吗？ 1.CPU：2 * Intel 8358P 2.内存：32 * 32GB DDR4 ECC 3.系统盘：2 * SATA固态硬盘容量 ...

各位佬友，公司打算提供一个算力服务器，供开发使用，目前开发人员数量大概 40 人左右，服务器配置如下，根据这个配置，最适合公司的模型是什么？用 vllm 部署吗？

1.CPU：2 * Intel 8358P
2.内存：32 * 32GB DDR4 ECC
3.系统盘：2 * SATA固态硬盘容量 960GB
4.数据本地盘：7.68T U.2 * 4
5.网卡： 1 *100Gb 单网口带模块、1 *双口万兆网卡带模块（存储）
6.电源：CRPS 2700W热拔插电源模块（2+2冗余）
GPU：8 * Tesla A100 SXM GPU

1 个帖子 - 1 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

本地部署模型推荐请教一个 AI 帖子

本地部署模型推荐请教

日本节点突然不能打开帖子

[推广] Codex 新站点 HappyCode 推广，纯 Plus 号池（0.04 倍率）活动送 75 刀额度

相关推荐