本地部署大模型求推荐

编辑部 2026-05-19T13:04:07.620495 22956 阅读综合

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。服务器参数型号： DELL CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ) 内存：256G 系统盘：960G SSD固态数据盘：8TB ...

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。
服务器参数型号：
DELL
CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ)
内存：256G
系统盘：960G SSD固态
数据盘：8TB
显卡：RTX4090 48G*2块
电源：1400W
但是自己没有本地部署经验，求大佬们给个推荐，部署什么模型什么参数的最好？

2 个帖子 - 2 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

本地部署模型推荐目前一个 AI 帖子

本地部署大模型求推荐

部分谷歌 Pixel 10 等手机用户反馈来电不振动，导致漏接电话

[硬件] RTX 5060 Ti 买 8G 还是 16G，现在还是等到 618 买呢？

相关推荐