我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
8g - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第6页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 148 篇相关文章 · 第 6 / 8 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
IT之家 4 月 24 日消息,荣耀 600e 手机目前已悄悄现身 Geekbench 跑分库,该机具体型号为 LNA-NX3,单核跑分为 985 分,多核跑分为 2983 分。综合跑分信息,该机预计将搭载联发科天玑 7100 芯片,匹配 8GB RAM,搭载安卓 16 系统。
这是在应用里面装了什么东西,这么大存储空间?一个月前看电脑C盘还有70多个G的,今天给干红了,然后发现Claude占了13.8G。 7 个帖子 - 4 位参与者 阅读完整话题
佬们,目前我有一个4核8G的Ubuntu云服务器,但只跑了一个gitea,感觉有点浪费,有什么推荐可以充分利用云服务器吗? 5 个帖子 - 5 位参与者 阅读完整话题
佬友们,最近想入一台Macbook,M4Pro,48G+512的,在某鱼上找到很多MDM监管机,性价比极高,还是16寸的。 不知道这种机器有没有啥坑,机器会不会被锁死,变砖,卖家说可以绕过监管锁,绕过后和国行一模一样,随意升级还原。 佬友们帮分析一下能入吗 19 个帖子 - 11
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
IT之家 4 月 23 日消息,OpenAI 官方当地时间昨日宣布, 这家人工智能企业当前已锁定总功率超 8GW 的算力资源 ,离 2025 年初设立的 10GW 目标已经不远,而到 2030 年则将达到 30GW。 IT之家注意到,建设 1GW 规模的 AI 数据中心通常需要数
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很