[Local LLM] 各位推荐一个 32G Macbook air M5 可以跑的 moe 模型

编辑部 2026-05-04T12:16:58.678720 41511 阅读 tech

27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢....

[Local LLM] 各位推荐一个 32G Macbook air M5 可以跑的 moe 模型

准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.

来源: v2ex.com查看原文

Local LLM 各位推荐一个帖子现在使用