FP8 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn

FP8 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 4 篇相关文章

[Qwen3.6]27B-FP8 SGLang本地部署-venv dev经验分享。

上集回顾 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 环境: WLS2 Ubuntu22.04 硬件: 4090 48G SGLang太佛系了,快一个月了还不更新正式版,需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 我测试了两个模型。以及DF

tech linux.do 2026-05-04 10:21:26+08:00

谁才是8卡H200服务器的终极归宿,GLM-5.1-FP8 vs Kimi-2.6 vs ... ?

目前有一台闲置 H200(显存141Gb)*8 的服务器,想部署本地模型体验一波,目前考虑的有2个,GLM-5.1-FP8和Kimi-2.6,有佬深度使用过哪个更强一些吗,或者还有其他模型推荐吗 模型 架构 专家数 参数量和激活 模型权重 HuggingFace 链接 Kimi

tech linux.do 2026-04-29 17:18:26+08:00

蚂蚁集团百灵大模型开源 Ling-2.6-flash,提供 BF16、FP8、INT4 等版本

IT之家 4 月 29 日消息,蚂蚁集团旗下的百灵大模型今日宣布, Ling-2.6-flash 正式开源 。同步提供 BF16、FP8、INT4 等多个版本,方便开发者根据不同硬件环境、推理成本和部署需求灵活选择。 Ling-2.6-flash 是一款总参数量 104B、激活参

tech www.ithome.com 2026-04-29 09:27:20+08:00

[Qwen3.6]27B-FP8 VLLM本地部署主观个人测评

硬件配置 组件 规格 CPU Intel i5-13600K GPU RTX 4090 48G + RTX 4070Ti 12G 内存 DDR4-3600 128G (4x32G) 主板 华硕 Z690-P D4 系统 Windows 11 LTSC WSL Ubuntu 22.

tech linux.do 2026-04-24 00:28:36+08:00