谁才是8卡H200服务器的终极归宿,GLM-5.1-FP8 vs Kimi-2.6 vs ... ?

目前有一台闲置 H200(显存141Gb)*8 的服务器,想部署本地模型体验一波,目前考虑的有2个,GLM-5.1-FP8和Kimi-2.6,有佬深度使用过哪个更强一些吗,或者还有其他模型推荐吗 模型 架构 专家数 参数量和激活 模型权重 HuggingFace 链接 Kimi K2.6 MoE 3...
谁才是8卡H200服务器的终极归宿,GLM-5.1-FP8 vs Kimi-2.6 vs ... ?
谁才是8卡H200服务器的终极归宿,GLM-5.1-FP8 vs Kimi-2.6 vs ... ?

目前有一台闲置 H200(显存141Gb)*8 的服务器,想部署本地模型体验一波,目前考虑的有2个,GLM-5.1-FP8和Kimi-2.6,有佬深度使用过哪个更强一些吗,或者还有其他模型推荐吗

模型 架构 专家数 参数量和激活 模型权重 HuggingFace 链接 Kimi K2.6 MoE 384 约 1T 总参 / 32B 激活 595GB moonshotai/Kimi-K2.6 GLM-5.1-FP8 MoE 约 256 约 744B 总参 / 约 40B 激活 756GB zai-org/GLM-5.1-FP8

6 个帖子 - 4 位参与者

阅读完整话题

来源: linux.do查看原文