27b - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn

27b - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 78 篇相关文章 · 第 1 / 4 页

[Qwen3.6]27B-FP8 SGLang本地部署-venv dev经验分享。

上集回顾 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 环境: WLS2 Ubuntu22.04 硬件: 4090 48G SGLang太佛系了,快一个月了还不更新正式版,需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 我测试了两个模型。以及DF

tech linux.do 2026-05-04 10:21:26+08:00

github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech www.v2ex.com 2026-05-03 06:06:17+08:00

github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech www.v2ex.com 2026-05-03 06:06:17+08:00

github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech www.v2ex.com 2026-05-03 05:06:17+08:00

github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech www.v2ex.com 2026-05-03 04:06:17+08:00

[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech v2ex.com 2026-05-03 03:06:17+08:00

github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech www.v2ex.com 2026-05-03 02:34:07+08:00

[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech v2ex.com 2026-05-03 00:47:58+08:00

[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech v2ex.com 2026-05-02 22:14:54+08:00

github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech www.v2ex.com 2026-05-02 21:05:12+08:00

[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech v2ex.com 2026-05-02 21:05:12+08:00

Qwen-3.6-27B 天气卡片

新获得一块4090D,终于可以跑27B dense了 鸸鹋骑单车一般般,但是天气卡片绝了,除了太阳歪了一点,这个细节实现的很棒,之后接入pi试试 8 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-05-01 09:46:58+08:00

Jackrong大佬蒸馏的Qwopus3.6有点惊艳哦

最近在实验室上部署了Jackrong大佬的Qwopus3.6-27B-v1-preview,测试了一下效果很惊艳啊,开启的200k上下文,多模态,测试下来有几个我觉得挺不错的点: 在写天气卡片这种前端代码时不会过度思考,平均思考时间在几秒钟左右,然后就开始库吃库吃写,写出来的效果

tech linux.do 2026-05-01 02:44:28+08:00

【DGX Spark教程系列-LLM部署】从0部署Qwen3.6-27B-NVFP4

导师搞了台DGX Spark,说要部署一个大模型进去,关于DGX的中文部署教程目前并不算多,和各位佬友分享一下这次部署过程完整,顺手写一篇教程。 这里计划部署的模型是 AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4 · Hugg

tech linux.do 2026-04-30 15:31:12+08:00

关于双卡nvlink交火,部署qwen3.6 27b有问!

目前我有两张2080ti22g,不知道能不能nvlink双卡交火 如果可以的话就有44g的显存了,配合vllm,应该可以部署一个量化后的模型,并且可以拥有较高的上下文 有没有哪位佬试过两张2080ti22g双卡交火的佬,可以来说一下经验 1 个帖子 - 1 位参与者 阅读完整话题

tech linux.do 2026-04-29 16:29:23+08:00

qwen3.6 27b 本地编码测试

搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用

tech www.v2ex.com 2026-04-28 17:17:39+08:00

qwen3.6 27b 本地编码测试

搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用

tech www.v2ex.com 2026-04-28 10:38:42+08:00

qwen3.6 27b 本地编码测试

搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用

tech www.v2ex.com 2026-04-28 04:36:05+08:00

qwen3.6 27b 本地编码测试

搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用

tech www.v2ex.com 2026-04-28 04:36:05+08:00

qwen3.6 27b 本地编码测试

搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用

tech www.v2ex.com 2026-04-28 03:36:05+08:00