[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
7b - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第2页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 97 篇相关文章 · 第 2 / 5 页
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
最近觉得Qwen3.5 122b挺好用的(397b应该不会有便宜的渠道)所以问下佬友们有没有什么办法能用到低价且稳定的Qwen3.5,尽量比官网便宜50% 3 个帖子 - 3 位参与者 阅读完整话题
新获得一块4090D,终于可以跑27B dense了 鸸鹋骑单车一般般,但是天气卡片绝了,除了太阳歪了一点,这个细节实现的很棒,之后接入pi试试 8 个帖子 - 5 位参与者 阅读完整话题
最近在实验室上部署了Jackrong大佬的Qwopus3.6-27B-v1-preview,测试了一下效果很惊艳啊,开启的200k上下文,多模态,测试下来有几个我觉得挺不错的点: 在写天气卡片这种前端代码时不会过度思考,平均思考时间在几秒钟左右,然后就开始库吃库吃写,写出来的效果
导师搞了台DGX Spark,说要部署一个大模型进去,关于DGX的中文部署教程目前并不算多,和各位佬友分享一下这次部署过程完整,顺手写一篇教程。 这里计划部署的模型是 AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4 · Hugg
目前我有两张2080ti22g,不知道能不能nvlink双卡交火 如果可以的话就有44g的显存了,配合vllm,应该可以部署一个量化后的模型,并且可以拥有较高的上下文 有没有哪位佬试过两张2080ti22g双卡交火的佬,可以来说一下经验 1 个帖子 - 1 位参与者 阅读完整话题
Crazyrouter.com 的兑换码国内老站 f4e431b607cc4c939428e2c335c7d5da da34f6536d3444df8fc09027458f7bbf dc3db1f158fd4ce79405cb5aa48ae6d1 a228e8f9ea074ed8
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用
搞了一上午,本地 a100 40g ,输出也慢 40t/s 大概的提示词劳力士风格,罗马数字,月相日历,高贵典雅 月相那块搞了好多轮 结论: 小参数的模型智力不差,Trae IDE agent 连接本地模型,coding 完全可用