本地部署大模型求推荐

编辑部 2026-05-19T13:29:35.796224 36438 阅读 tech

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。服务器参数型号： DELL CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ) 内存：256G 系统盘：960G SSD固态数据盘：8TB ...

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。
服务器参数型号：
DELL
CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ)
内存：256G
系统盘：960G SSD固态
数据盘：8TB
显卡：RTX4090 48G*2块
电源：1400W
但是自己没有本地部署经验，求大佬们给个推荐，部署什么模型什么参数的最好？

3 个帖子 - 3 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

本地部署模型推荐目前一个 AI 帖子

本地部署大模型求推荐

全球仅 3 台，华硕展示《赛博朋克 2077》主题 ROG Xbox Ally X 游戏掌机

[推广] 冲动跟风也建了 codex api 中转站，但没有客户~免费送 30 刀余额。

相关推荐