公司自部署模型, 到底能做到什么程度?

公司最近在聊自部署模型, 但本地部署出来究竟能做什么呢? 不花大价钱跑几个强模型, 什么都做不了, 现在两张5090,跑俩qwen27B的低精度模型就到头了, 逻辑处理能力还很一般, 幻觉问题严重. 涉及到可靠性的功能完全用不上, 测来测去, 最后还是回到写个python脚本解决问题… 还不用担心幻...
公司自部署模型, 到底能做到什么程度?
公司自部署模型, 到底能做到什么程度?

公司最近在聊自部署模型, 但本地部署出来究竟能做什么呢?
不花大价钱跑几个强模型, 什么都做不了, 现在两张5090,跑俩qwen27B的低精度模型就到头了, 逻辑处理能力还很一般, 幻觉问题严重. 涉及到可靠性的功能完全用不上, 测来测去, 最后还是回到写个python脚本解决问题… 还不用担心幻觉问题…

4 个帖子 - 4 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文