[Local LLM] 各位推荐一个 32G Macbook air M5 可以跑的 moe 模型
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
lm - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第21页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 898 篇相关文章 · 第 21 / 45 页
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以
用量比较大,已经被 glm 封了,我刷过几次帖子了。 本来有个包月的 gpt 用着,但是前些天的号池内斗都废了。我现在还在找包月,能用 gpt5.4 就行。 kimi 199 冲了,三天就跑了一个星期的量。早晚要把我封了。 deepseek 跑不起。 minimax 傻,不想和他
试了几个L站佬友的公益站,几乎所有的GLM5.1模型都不显示回复(或者只回复hi,你好之类的对话),但是控制台显示调用成功,有佬知道是什么情况嘛 7 个帖子 - 5 位参与者 阅读完整话题
看到最新的D牢师竟然拥有仅次于gemini3.1Pro的世界知识,不禁感慨这些LLM是怎么存下这么多东西的 20 个帖子 - 15 位参与者 阅读完整话题
用量比较大,已经被 glm 封了,我刷过几次帖子了。 本来有个包月的 gpt 用着,但是前些天的号池内斗都废了。我现在还在找包月,能用 gpt5.4 就行。 kimi 199 冲了,三天就跑了一个星期的量。早晚要把我封了。 deepseek 跑不起。 minimax 傻,不想和他
kimi 给的太少,glm 抢不到,minimax 除了便宜一无是处,难道只能 deepseek api 吗?
kimi 给的太少,glm 抢不到,minimax 除了便宜一无是处,难道只能 deepseek api 吗?
不理解,明明制定了模型为 glm-5.1,怎么大量消耗都是其他模型的?排第一的是它自家的豆包。 2 个帖子 - 2 位参与者 阅读完整话题
一个任务,10个小时啊!!!GLM你这速率限制真离谱!我系统架构和兜底也真牛逼!没崩,跑完了 哨兵测试,两个任务,用来解决评分跷跷板问题,优化 A 任务 B 任务降分,优化 B 任务 A 任务降分,同时,要优化所有任务的整体评分 现在,其中一个顺利完成,评分突破90分,就看另外一
kimi 给的太少,glm 抢不到,minimax 除了便宜一无是处,难道只能 deepseek api 吗?