本地部署大模型求推荐

编辑部 2026-05-19T13:09:59.530108 42744 阅读 tech

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。服务器参数型号： DELL CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ) 内存：256G 系统盘：960G SSD固态数据盘：8TB ...

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。
服务器参数型号：
DELL
CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ)
内存：256G
系统盘：960G SSD固态
数据盘：8TB
显卡：RTX4090 48G*2块
电源：1400W
但是自己没有本地部署经验，求大佬们给个推荐，部署什么模型什么参数的最好？

3 个帖子 - 3 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文

本地部署模型推荐目前一个 AI 帖子

本地部署大模型求推荐

北京时间凌晨一点！Google爱信等

[分享发现] PDD 大字版不会出现部分优惠入口

相关推荐