如何评价英伟达发布RTX Spark 128GB统一内存几年后能否到达本地部署的时代

微软表示,Surface Laptop Ultra是其首款将强大NVIDIA Blackwell RTX GPU、最高128GB统一内存、以及完整CUDA支持结合的笔记本电脑。统一内存允许内存池动态分配到工作负载所需要的容量,跨越CPU和GPU,因此AI创建、3D渲染和多模型工作流可以同时运行,拥有...
如何评价英伟达发布RTX Spark 128GB统一内存几年后能否到达本地部署的时代
如何评价英伟达发布RTX Spark 128GB统一内存几年后能否到达本地部署的时代

微软表示,Surface Laptop Ultra是其首款将强大NVIDIA Blackwell RTX GPU、最高128GB统一内存、以及完整CUDA支持结合的笔记本电脑。统一内存允许内存池动态分配到工作负载所需要的容量,跨越CPU和GPU,因此AI创建、3D渲染和多模型工作流可以同时运行,拥有最高1 PetaFlop的AI计算性能。

  • DeepSeek-V4-Flash(284B 总参数,13B 激活)‌:‌4-bit 量化约需 18–24GB 显存‌(如 RTX 4090/3090 可跑),全精度(FP16)需超 150GB(多卡数据中心级)。
  • DeepSeek-V4-Pro(1.6T 总参数,49B 激活)‌:‌4-bit 量化至少需 70–80GB 显存‌(单卡难跑,通常需 2–4 张 A100/H100),全精度需 800GB+。
  • 若使用 ‌GGUF(CPU+GPU 混合推理)或 Mac 统一内存‌,Flash 版可在 ‌**128GB 内存(无独立显存或仅核显)**‌ 上运行,但速度慢;Pro 版需 256GB+ 内存且不推荐本地部署。

现在小开源模型还在持续蒸馏进步 几年后有没有可能在本地256G统一内存机器跑能力达到4.6的模型 好时代来临吧 :hugs:

7 个帖子 - 5 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文