各位推荐一个 32G Macbook air M5 可以跑的 moe 模型
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
4B - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第2页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 34 篇相关文章 · 第 2 / 2 页
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
现在新出的模型 deepseekv4 pro 862B参数,GLM5.1 754B参数,kimi 2.6 1.1T的参数。像千问这种397B的是不是以后就不会有了。 想在公司八卡L20上部署一下新模型,算了一下量化后都不够部署上去。部署成本太高了,qwen3.6的满参数迟迟不发布
具体分数也有了,可以自己去看 不过代码能力确实比不过前面几个 deepseek-ai/DeepSeek-V4-Pro · Hugging Face 1 个帖子 - 1 位参与者 阅读完整话题
token.zhilu.online ZhiLu Token - AI API Gateway sk-d62b6e3da97b3ac09b0f5f3d0da03fa4bf5561709efdc03d4edfc02e0f2ce900 500刀福利 codex gpt-5.4 7 个
今日,蚂蚁百灵正式推出 Ling-2.6-flash —— 一款总参数量 104B、激活参数 7.4B 的 Instruct 模型。 该模型主打“Token 效率(Token Efficiency)”,在保持竞争力智能水平的同时,更快、更省以及更适合大规模真实应用。 据权威三方评
因为是个体验卡,能选的模型不多,需要的佬自取吧 API key:9a5e7bb73e2b4b53bb0419b4960ec4bd.tZVQRCEMBmhBDS3z 请求地址: https://open.bigmodel.cn/api/anthropic 2 个帖子 - 2 位参与
机场订阅 https://H8ZwFFP.doggygosubs.com:8443/api/v1/client/3ac16eb0cbb88c9092614be0fb73a5b9 一个月200G,2026/08/16到期 6 个帖子 - 4 位参与者 阅读完整话题
差点忘了还有这个套餐没用完,23号0点到期 sk-sp-418975e7fd02410198a17dba0be40c4b 2 个帖子 - 2 位参与者 阅读完整话题
我用omlx 安装qwen3.5-122b-4bit 好慢 一秒一个token 感觉不太对,有大佬知道怎么配置吗? 8 个帖子 - 4 位参与者 阅读完整话题
是否我哪里配置错误了? E4B 的 gemma 会用 websearch 或者 curl 去查,但26B 的几竟然不会! 部署方式:OLLMA + gemma 26B Q5-K-M (量化版本),显存12GB,4070TI + 64G 内存。 2 个帖子 - 2 位参与者 阅读完
JustinHarris5978@hotmail.com----kmyolcmb282689----9e5f94bc-e8a4-4e73-b8be-63364c29d753----M.C549_BAY.0.U.-CrcspBgCszbk6!zUyhxyJqCi77ZTQAlDbX
只能用 glm4.7,有效期到 4.23 号,官方给的量不多需要的佬友自取。 9c33f4b1b4284cccbd7f1cd6713cf54d.4q0Hc0PzzobDzRRE 使用文档 1 个帖子 - 1 位参与者 阅读完整话题
sk-b1da2a945c2c2d16243f59457f1dfe50681dfb2bf1a4618de4bb803bcc5740f0 ai.dianshangbat.cn Sub2API - AI API Gateway 这使用起来感觉怪怪的,改项目老改的面目全非逻辑混乱,我都