[Qwen3.6]27B-FP8 SGLang本地部署-venv dev经验分享。
上集回顾 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 环境: WLS2 Ubuntu22.04 硬件: 4090 48G SGLang太佛系了,快一个月了还不更新正式版,需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 我测试了两个模型。以及DF
27B - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 78 篇相关文章 · 第 1 / 4 页
上集回顾 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 环境: WLS2 Ubuntu22.04 硬件: 4090 48G SGLang太佛系了,快一个月了还不更新正式版,需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 我测试了两个模型。以及DF
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
新获得一块4090D,终于可以跑27B dense了 鸸鹋骑单车一般般,但是天气卡片绝了,除了太阳歪了一点,这个细节实现的很棒,之后接入pi试试 8 个帖子 - 5 位参与者 阅读完整话题
最近在实验室上部署了Jackrong大佬的Qwopus3.6-27B-v1-preview,测试了一下效果很惊艳啊,开启的200k上下文,多模态,测试下来有几个我觉得挺不错的点: 在写天气卡片这种前端代码时不会过度思考,平均思考时间在几秒钟左右,然后就开始库吃库吃写,写出来的效果
导师搞了台DGX Spark,说要部署一个大模型进去,关于DGX的中文部署教程目前并不算多,和各位佬友分享一下这次部署过程完整,顺手写一篇教程。 这里计划部署的模型是 AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4 · Hugg
目前我有两张2080ti22g,不知道能不能nvlink双卡交火 如果可以的话就有44g的显存了,配合vllm,应该可以部署一个量化后的模型,并且可以拥有较高的上下文 有没有哪位佬试过两张2080ti22g双卡交火的佬,可以来说一下经验 1 个帖子 - 1 位参与者 阅读完整话题
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用