苹果芯片跑本地大模型的性能和意义

最近正好手头有两台苹果电脑,一台是满血版 MacBook Pro(M1 Pro,32GB+1TB,10 核 CPU + 16 核 GPU),另一台是 Mac Studio(M4 Max,128GB+1TB),我想借这个机会,看看苹果芯片在本地跑大模型时到底能做到什么程度。我想知道这两个问题: 苹果芯...
苹果芯片跑本地大模型的性能和意义
苹果芯片跑本地大模型的性能和意义

最近正好手头有两台苹果电脑,一台是满血版 MacBook Pro(M1 Pro,32GB+1TB,10 核 CPU + 16 核 GPU),另一台是 Mac Studio(M4 Max,128GB+1TB),我想借这个机会,看看苹果芯片在本地跑大模型时到底能做到什么程度。我想知道这两个问题:

  1. 苹果芯片跑本地大模型,真实性能到底在什么水平;
  2. 到了现在,本地部署这件事到底还有没有意义,意义又主要体现在哪。

我先贴我本地实际跑出来的一批结果,再聊聊我自己对“苹果芯片 + 本地大模型”这件事的判断,哪些是优势,哪些是想象,哪些场景值得投入,哪些场景其实不如直接用云端。

如果你们手里也有 M1/M2/M3/M4 不同机器,或者不同框架、不同量化的测试,也欢迎一起补数据,把这帖做成一个可参考的样本帖,而不只是单次跑分展示。

12 个帖子 - 6 位参与者

阅读完整话题

来源: linux.do查看原文