35b - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第2页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
tech v2ex.com 2026-04-26 10:23:40+08:00
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
tech v2ex.com 2026-04-26 09:57:43+08:00
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
tech v2ex.com 2026-04-26 09:46:29+08:00
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
tech v2ex.com 2026-04-26 08:56:08+08:00
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
tech v2ex.com 2026-04-26 08:56:08+08:00
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
tech www.v2ex.com 2026-04-26 08:22:11+08:00
模型来源 RedHatAI/Qwen3.6-35B-A3B-NVFP4 · Hugging Face sakamakismile/Qwen3.6-27B-NVFP4 · Hugging Face Qwen3.6-35B-A3B速度 单用户串行测试 : num_prompts=20
tech linux.do 2026-04-24 17:03:05+08:00
大佬们 最近用最新的gpustack2.1.2版本 搭配8个L40装了Qwen3.5-35B-A3B的vllm模型。 官方文档说可以靠thinking_budget参数来调节思考的长度，但是根本不好使啊.. system角色写提示词要求它精简思考过程也不行。。。。 没招了.. 1
tech linux.do 2026-04-24 12:47:47+08:00
先说配置： CPU: E5-2680 v4 * 2 内存： 220G GPU: 3090 24G *2 系统：Ubuntu20 工具： LM Studio 0.4.11 Qwen3.6-27B Qwen3.6-35B-A3B 默认专家数量为8，这里佬友自行设置为了9， 问题是：“
tech linux.do 2026-04-23 14:18:57+08:00
对比deepseek的价格 3 个帖子 - 2 位参与者 阅读完整话题
tech linux.do 2026-04-23 10:09:58+08:00
llama.cpp 支持的APEX量化效果挺好的， https://huggingface.co/mudler/Qwen3.6-35B-A3B-APEX-GGUF 根据该量化库的作者的表述 ， 消费级显卡可用的 Qwen3.6-35B-A3B-APEX-I-Compact.ggu
tech linux.do 2026-04-21 17:58:31+08:00
IT之家 4 月 20 日消息，4 月 19 日（昨天）晚间，千问 3.6 系列中等尺寸模型 Qwen3.6-35B-A3B 模型正式开源，仅激活 3B。 根据介绍，该模型不但轻量高效，而且在智能体编程方面表现卓越，大幅超越前代模型 Qwen3.5-35B-A3B，并可与 Qwe
tech www.ithome.com 2026-04-20 14:46:49+08:00
Qwen 3.6 35B-A3B 智商测试 之前没考虑过本地部署 LLM——一是没卡没好设备，二是感觉小模型智商不会高到哪里去。 但最近对 Claude Opus 的降智略感失望，本地部署个不错的 LLM 至少不会降智。看佬儿友分享最近发布的 Qwen 3.6 ，看起来不错，手痒
tech linux.do 2026-04-19 02:58:49+08:00
前几天阿里开源了qwen3.6-35b-a3b，这个模型是qwen3.5-35b-a3b的升级版 和qwen3.6-plus一样，qwen3.6-flash也进行了涨价，一般来说都是按模型参数定价的，阿里这一波感觉飘了，把训练成本加给用户api（备注plus和flash是开源模型
tech linux.do 2026-04-19 01:03:42+08:00
概述 感谢各位上次发帖很多佬的交流, 上次是豪华配置，这次测了弱一点的配置 首先期望不要太高，其实这个水平的模型OpenCode还有厉害一点的Minimax M2.5免费用（ 虽然刚才出现的Bug Minimax也没修好 能玩，但是上下文看自己的操作，如果有核显则可以拉到100K
tech linux.do 2026-04-18 20:35:22+08:00
部署了一个Qwen3.6-35B-A3B 怎么感觉有点呆啊 是不是真不行啊 2 个帖子 - 1 位参与者 阅读完整话题
tech linux.do 2026-04-18 13:59:57+08:00
两张3090 48G显存 私有化部署35B大模型， 生成速度142.65tokens/s 上下文长度262144 真香 8 个帖子 - 5 位参与者 阅读完整话题
tech linux.do 2026-04-18 02:53:41+08:00
总结 这么小的模型有这个能力，还是让我感觉挺开心的，阿里牛逼 体验挺好的，希望再接再厉 部署情况 部署版本： unsloth UD_Q6K 部署硬件： 4080 Super 32G + 5060Ti 16G Token速度： 90token/s 上下文 256K拉满 只多5G显存
tech linux.do 2026-04-17 21:24:43+08:00
笔记本配置 32GB 内存加 8GB 5060，就是生成速度会有点慢（24token/s） 但这个天气卡片真不想像是本地模型能跑出来的。 如果想试试接入 coding agent，推荐 PI，对模型负担很轻，作为一个小电脑助手又快又好 同类推荐： 5060 笔记本成功部署 Gem
tech linux.do 2026-04-17 19:46:59+08:00
你是一位就职于苹果公司的顶级前端工程师。请创建一个包含CSS和JavaScript的HTML文件，用于生成动画天气卡片。卡片需要以不同动画效果直观展示以下天气状况： 风力（如：飘动的云朵、摇曳的树木或风线） 降雨（如：下落的雨滴、形成的水洼） 晴天（如：闪耀的光线、明亮的背景）
tech linux.do 2026-04-17 17:38:30+08:00