用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了
https://github.com/antirez/llama.cpp-deepseek-v4-flash
cpp - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 18 篇相关文章
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
https://github.com/antirez/llama.cpp-deepseek-v4-flash
我是windows上llama.cpp部署的,先看效果图。 这里面,我用的模型是 unsloth 量化的 Qwen3.6-35B-A3B-UD-IQ1_M 模型。 得益于其超强的量化,整个模型可以完美装在 2080ti 11g 显存里面,用 q4 量化上下文可以跑到128k 的上
llama.cpp 支持的APEX量化效果挺好的, https://huggingface.co/mudler/Qwen3.6-35B-A3B-APEX-GGUF 根据该量化库的作者的表述 , 消费级显卡可用的 Qwen3.6-35B-A3B-APEX-I-Compact.ggu
ollama不就是一个逃课的llama.cpp嘛 为啥跑起来那么慢 在我机器下原生llama.cpp能比ollama快大概20-50%的样子 1 个帖子 - 1 位参与者 阅读完整话题
刚开始接触,在本地尝试自己编译,一直报asm缺失,可是我的visual studio2026也没问题啊 3 个帖子 - 3 位参与者 阅读完整话题