[Local LLM] 各位推荐一个 32G Macbook air M5 可以跑的 moe 模型
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
模型 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第54页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 2577 篇相关文章 · 第 54 / 129 页
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
这两天我刷帖子刷得有点懵。 4 月 20 号,Kimi 悄悄放出 K2.6 。4 月 23 号,腾讯混元 3.0 开源,小米 MiMo-V2.5 同一天公测。4 月 24 号,DeepSeek V4 Preview 上线。大洋彼岸那边,GPT-5.5 、Claude Opus 4
这两天我刷帖子刷得有点懵。 4 月 20 号,Kimi 悄悄放出 K2.6 。4 月 23 号,腾讯混元 3.0 开源,小米 MiMo-V2.5 同一天公测。4 月 24 号,DeepSeek V4 Preview 上线。大洋彼岸那边,GPT-5.5 、Claude Opus 4
这两天我刷帖子刷得有点懵。 4 月 20 号,Kimi 悄悄放出 K2.6 。4 月 23 号,腾讯混元 3.0 开源,小米 MiMo-V2.5 同一天公测。4 月 24 号,DeepSeek V4 Preview 上线。大洋彼岸那边,GPT-5.5 、Claude Opus 4
这两天我刷帖子刷得有点懵。 4 月 20 号,Kimi 悄悄放出 K2.6 。4 月 23 号,腾讯混元 3.0 开源,小米 MiMo-V2.5 同一天公测。4 月 24 号,DeepSeek V4 Preview 上线。大洋彼岸那边,GPT-5.5 、Claude Opus 4
这是题目原文 获得补签卡有两种方式 - 600 记忆币兑换 1 张 - 6*0.91 元购买 1 张 获得会员有几种方式 - 10800 记忆币兑换 372 天 - 4000 记忆币兑换 93 天 - 2000 记忆币兑换 31 天 - 168*0.91 元购买 372 天(赠送
小米MiMo在推特上发帖说要开源了!2款模型正好和DS4正面对决! 11 个帖子 - 9 位参与者 阅读完整话题
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
明明没有5.1模型为啥报错,之前还成功的,奇怪了呀,大佬帮看看谢谢~ 2 个帖子 - 2 位参与者 阅读完整话题
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
由于时间精力有限只测了一次,个人项目,图片不放了,见谅 由于GPT5.4 FREE被我蹬完了就没测试gpt5.4 总结(个人单次主观感受): 模型 评分 备注 GLM 5.1 70 值得信赖,界面设计好 GLM 5 65 依旧能打 Deepseek V4 Pro 65 期待正式版
这是题目原文 获得补签卡有两种方式 - 600 记忆币兑换 1 张 - 6*0.91 元购买 1 张 获得会员有几种方式 - 10800 记忆币兑换 372 天 - 4000 记忆币兑换 93 天 - 2000 记忆币兑换 31 天 - 168*0.91 元购买 372 天(赠送
这是题目原文 获得补签卡有两种方式 - 600 记忆币兑换 1 张 - 6*0.91 元购买 1 张 获得会员有几种方式 - 10800 记忆币兑换 372 天 - 4000 记忆币兑换 93 天 - 2000 记忆币兑换 31 天 - 168*0.91 元购买 372 天(赠送
有时候逛论坛看到各种模型发布了,就看各种测评网站,久而久之其实也不太信这些网站,因为很难说清楚这些网站有没有收钱,或者是模型有没有过拟合数据集。 今天刚好送老婆坐飞机出国,但是刚刚看飞机的位置发现在缅甸和云南的交界,和航旅纵横、飞常准的路线图不一样(预计的路线是走中国西北),心中