到底怎么才能降低Qwen3.5-35B-A3B的think啊
大佬们 最近用最新的gpustack2.1.2版本 搭配8个L40装了Qwen3.5-35B-A3B的vllm模型。 官方文档说可以靠thinking_budget参数来调节思考的长度,但是根本不好使啊.. system角色写提示词要求它精简思考过程也不行。。。。 没招了.. 1
llm - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第9页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 223 篇相关文章 · 第 9 / 12 页
大佬们 最近用最新的gpustack2.1.2版本 搭配8个L40装了Qwen3.5-35B-A3B的vllm模型。 官方文档说可以靠thinking_budget参数来调节思考的长度,但是根本不好使啊.. system角色写提示词要求它精简思考过程也不行。。。。 没招了.. 1
来自知乎toyama佬 网站: LLM Benchmark Dashboard 附:其他未测完的国模 1 个帖子 - 1 位参与者 阅读完整话题
especially国模,也算是对提高国模水平的一种帮助了(? 10 个帖子 - 9 位参与者 阅读完整话题
硬件配置 组件 规格 CPU Intel i5-13600K GPU RTX 4090 48G + RTX 4070Ti 12G 内存 DDR4-3600 128G (4x32G) 主板 华硕 Z690-P D4 系统 Windows 11 LTSC WSL Ubuntu 22.
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺
和NewAPI、Sub2API有什么不同的地方吗 5 个帖子 - 5 位参与者 阅读完整话题
这不是各种中转站开始陆续上gpt-image-2了嘛,最近想玩玩文生图了,然后我就又要面对本地LLM客户端的一堆问题了。 CherryStudio我早就不用了,臃肿到离谱,但是你别说,它的文生图功能确实强大,不是说多好用,而是至少能用; Kelivo的UI太…朴素了,我感觉作者今
这东西我都没见过实物,在 USA 的同学有一台,但是他上线后应用的事情都快拉爆了,暂时没空测我的想法,只能想象着来问一下这里各位佬了: C++,Python 的代码 review; 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多
这东西我都没见过实物,在 USA 的同学有一台,但是他上线后应用的事情都快拉爆了,暂时没空测我的想法,只能想象着来问一下这里各位佬了: C++,Python 的代码 review; 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多
昨天看了 @smallmain 佬的k2.6真实项目评测,发现语言选择可能会造成结果不太一样,正好最近要开一个新项目,想着用不同模型来初始化一下对比看看。 我在的公司是个极其小众行业的公司,北美个位数的同行,全球不超20家同行,技术栈很杂乱,上古项目有delphi,foxpro,
充了十块,在sub2中转了模型,然后使用LiteLLM把模型代理给cursor,用的是claude4.7-cc,也就是标注的3.5折扣的,使用下来发现一个问题,收费还是非常贵,73Token用了0.28,感觉国内的代理收费比官方的还是贵不少 1 个帖子 - 1 位参与者 阅读完整
是什么:openwalk 是一个对 LLM 友好的 cli RPA 工具,目前支持 chrome + cdp , 后期会引入操作桌面应用的功能。 如何使用: 示例 openwalk exec hello-wrod openwalk exec v2ex-hot 特性: 内置操作浏览
今天看到一个小工具 rtk: GitHub - rtk-ai/rtk: CLI proxy that reduces LLM token consumption by 60-90% on common dev commands. Single Rust binary, zero
比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习
比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习
比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习
比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习
比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习
比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习
比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习