本地部署大模型求推荐

编辑部 2026-05-19T12:12:22.897934 9211 阅读综合

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。服务器参数型号： DELL CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ) 内存：256G 系统盘：960G SSD固态数据盘：8TB ...

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。
服务器参数型号：
DELL
CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ)
内存：256G
系统盘：960G SSD固态
数据盘：8TB
显卡：RTX4090 48G*2块
电源：1400W
但是自己没有本地部署经验，求大佬们给个推荐，部署什么模型什么参数的最好？

2 个帖子 - 2 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

本地部署模型推荐目前一个 AI 帖子

本地部署大模型求推荐

[生活] 深圳买房 300 万以内的预算，考虑学位。目前小孩两岁。各位大会有什么推荐的吗

[分享创造] [送码] 上线一周多用户终于突破 1k，订阅用户 27 个，收入 8$ 不好意思，我不太熟练上个帖子没写完就手抖点了创建

相关推荐