我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
8GB - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第5页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 97 篇相关文章 · 第 5 / 5 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
IT之家 4 月 24 日消息,荣耀 600e 手机目前已悄悄现身 Geekbench 跑分库,该机具体型号为 LNA-NX3,单核跑分为 985 分,多核跑分为 2983 分。综合跑分信息,该机预计将搭载联发科天玑 7100 芯片,匹配 8GB RAM,搭载安卓 16 系统。
IT之家 4 月 22 日消息,微星内部超频专家、主板部门工程师 Toppc 今日展示了其 MEG X870E Unify-X MAX 主板的 DDR5 内存超频能力,成功将双面 64GBx2 的 128GB 内存超至 9400 MT/s。 此次演示采用即将发布的新版 BIOS(
IT之家 4 月 22 日消息,铁威马 TerraMaster 现已为旗下 F2-425 Plus 和 F4-425 Plus NAS 推出英特尔 N95 处理器版本,该版本主要就是换用处理器及 8GB RAM,IT之家整理价格信息如下: F2-425 Plus 准系统:2599
IT之家 4 月 22 日消息,科技媒体 The Verge 今天(4 月 22 日)发布博文,报道称美国宇航局(NASA)为国际空间站升级计算设备, 选定惠普 ZBook Fury G9 移动工作站作为新装备。 IT之家援引博文介绍,国际空间站第 74 远征队机组人员于 4 月
IT之家 4 月 20 日消息,惠普在今天的发布会中推出了全新 HyperX 暗影精灵 MAX(GT24)台式机,36999 元。 该机采用侧透机箱,全机箱采用公规设计,使用 360mm 水冷及至高 ATX3.1 规格 1200W 白金认证电源,机箱匹配的 ARGB 风扇最高转速
IT之家 4 月 20 日消息,铁威马 TerraMaster 现已为旗下 F4-425 Plus 四盘位 NAS 推出英特尔 N95 处理器版本,该版本调整为 8GB RAM,定价为 2899 元起,IT之家整理价格如下: 准系统:2899 元 配 1 块 4T 西数红盘:40
据3DCenter监测数据,德国市场DDR5内存套条均价已反弹至去年7月水平的410%,今年3月出现的短暂降价被证实仅为昙花一现。 今年1月和2月,DDR5内存价格先后触及峰值,3月首次录得自去年7月以来的价格回落,当时业内一度认为内存涨价周期可能迎来拐点。 然而最新零售数据显示
笔记本配置 32GB 内存加 8GB 5060,就是生成速度会有点慢(24token/s) 但这个天气卡片真不想像是本地模型能跑出来的。 如果想试试接入 coding agent,推荐 PI,对模型负担很轻,作为一个小电脑助手又快又好 同类推荐: 5060 笔记本成功部署 Gem
IT之家 4 月 16 日消息,消息源 yeux1122 昨日(4 月 15 日)发布博文,爆料称三星计划在部分 Galaxy S27 系列机型上, 引入 UFS 5.0 存储,接口速率达 10.8GB/s,性能媲美 PCIe NVMe Gen 5 标准。 IT之家查询公开资料,
IT之家 4 月 16 日消息,硬件制造商昂达 ONDA 本月早些时候在其官网上线了 RTX5060 神盾 8GD7-B V1 和 RTX5060Ti 神盾 8GD7-B V1 显卡。这两款也是继 RTX5050 神盾 8GD6 V1 后 该企业的第 2、3 款 "Bl
IT之家 4 月 13 日消息,联芸 Maxio 在上月末举行的 CFMS | MemoryS 2026 上公布了其存储开发路线图,其中提到了支持 PCIe Gen6 的消费级 / 客户端 SSD 主控 MAP2001 。IT之家注意到, 这很可能是首个出现在大众视野中的同定位产
IT之家 4 月 12 日消息,随着游戏画质不断提升,显存(VRAM)占用问题日益突出,尤其是对于 Steam Deck 掌机用户而言。 据 TomsHardware 今日报道,Valve Linux 图形驱动团队的工程师 Natalie Vock 针对这一痛点提出了一套全新的解
IT之家 4 月 11 日消息,OPPO A6s Pro 手机现已在京东开启新品预约,4 月 14 日下午 14:30 发布。 京东 OPPO A6s Pro 手机 待公布 立即预约 商品页面显示,OPPO A6s Pro 手机一共有青云直上、好运莲莲、夜月生辉三种配色可选, 内
4月16日,Meta宣布,自2026年4月19日起,将上调Quest 3和Quest 3S头显售价。Meta Quest 3S(128GB)和Meta Quest 3S(256GB)将分别涨价50美元至349.99美元和449.99美元,Meta Quest 3将涨价100美元至