nvfp4 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn

nvfp4 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 3 篇相关文章

【DGX Spark教程系列-LLM部署】从0部署Qwen3.6-27B-NVFP4

导师搞了台DGX Spark,说要部署一个大模型进去,关于DGX的中文部署教程目前并不算多,和各位佬友分享一下这次部署过程完整,顺手写一篇教程。 这里计划部署的模型是 AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4 · Hugg

tech linux.do 2026-04-30 15:31:12+08:00

Qwen3.6-27B和Qwen3.6-35B-A3B的nvfp4量化在dgxspark下面的速度表现

模型来源 RedHatAI/Qwen3.6-35B-A3B-NVFP4 · Hugging Face sakamakismile/Qwen3.6-27B-NVFP4 · Hugging Face Qwen3.6-35B-A3B速度 单用户串行测试 : num_prompts=20

tech linux.do 2026-04-24 17:03:05+08:00

有人知道nvfp4这种量化格式该怎么改吗?

我是50系显卡,听说了nvfp4格式的量化模型能最大程度上利用显卡的算力,想尝试一下,但是在魔塔跟huggingface都没有找到现成的模型,想自己量化又不知道该怎么做,问大模型也是各说各的方式 1 个帖子 - 1 位参与者 阅读完整话题

tech linux.do 2026-04-21 22:58:43+08:00