最近正好手头有两台苹果电脑,一台是满血版 MacBook Pro(M1 Pro,32GB+1TB,10 核 CPU + 16 核 GPU),另一台是 Mac Studio(M4 Max,128GB+1TB),我想借这个机会,看看苹果芯片在本地跑大模型时到底能做到什么程度。我想知道这两个问题:
- 苹果芯片跑本地大模型,真实性能到底在什么水平;
- 到了现在,本地部署这件事到底还有没有意义,意义又主要体现在哪。
我先贴我本地实际跑出来的一批结果,再聊聊我自己对“苹果芯片 + 本地大模型”这件事的判断,哪些是优势,哪些是想象,哪些场景值得投入,哪些场景其实不如直接用云端。
如果你们手里也有 M1/M2/M3/M4 不同机器,或者不同框架、不同量化的测试,也欢迎一起补数据,把这帖做成一个可参考的样本帖,而不只是单次跑分展示。
12 个帖子 - 6 位参与者