我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
30 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第38页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 1256 篇相关文章 · 第 38 / 63 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
仅限 88VIP 美团 5 元膨胀神券 吃喝玩乐都能用 ,包括堂食外卖、剪发烫头、温泉泡澡、酒店住宿、检查洗牙等等。 此神券主要 支持免费膨胀 (非直接使用),至高膨胀到 300 元。 如果平时走到哪都先 打开美团 / 抖音 / 闲鱼 → 比价团券 → 进店消费 ,则非常适合购买
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
(话题已被作者删除) 1 个帖子 - 1 位参与者 阅读完整话题
5 小时限额 pro 1300 次, flash 7450 次 理论上可以用于其他工具比如 claude code ,opencode 说 go 可以用于第三方。
5 小时限额 pro 1300 次, flash 7450 次 理论上可以用于其他工具比如 claude code ,opencode 说 go 可以用于第三方。
系统 :iOS 26.4.1 问题 :换机时通过旧机迁移,导致一些根证书也被带到新 iPhone 上。旧机已还原,但新机上残留证书无法删除。 尝试过的方法 :根据网上有限资料,我导出了无加密备份中的 /var/Keychains/TrustStore.sqlite3 文件,并用
系统 :iOS 26.4.1 问题 :换机时通过旧机迁移,导致一些根证书也被带到新 iPhone 上。旧机已还原,但新机上残留证书无法删除。 尝试过的方法 :根据网上有限资料,我导出了无加密备份中的 /var/Keychains/TrustStore.sqlite3 文件,并用
系统 :iOS 26.4.1 问题 :换机时通过旧机迁移,导致一些根证书也被带到新 iPhone 上。旧机已还原,但新机上残留证书无法删除。 尝试过的方法 :根据网上有限资料,我导出了无加密备份中的 /var/Keychains/TrustStore.sqlite3 文件,并用
系统 :iOS 26.4.1 问题 :换机时通过旧机迁移,导致一些根证书也被带到新 iPhone 上。旧机已还原,但新机上残留证书无法删除。 尝试过的方法 :根据网上有限资料,我导出了无加密备份中的 /var/Keychains/TrustStore.sqlite3 文件,并用
明天到三级 也是来L站的第50天 祝L站越来越好 共建你我引以为荣之社区! 抽奖主题:明天到三级 也是来L站的第50天 发点微软邮箱~ 奖品详情: [奖品1]:60个hotmail邮箱(30×2) [奖品2]:60个outlook邮箱(30×2) 活动时间: 开始时间: Sat,
系统 :iOS 26.4.1 问题 :换机时通过旧机迁移,导致一些根证书也被带到新 iPhone 上。旧机已还原,但新机上残留证书无法删除。 尝试过的方法 :根据网上有限资料,我导出了无加密备份中的 /var/Keychains/TrustStore.sqlite3 文件,并用
Maine Governor's Office Governor Mills Announces Decision on LD 307 Governor Janet Mills today notified the Maine Legislature that she
抽奖主题: gpt-5.5 80刀额度包5份 奖品详情: [奖品]:gpt-5.5 80刀额度包 *5 活动时间: 开始时间:2026年4月25日09:30 截止时间:2026年4月26日09:30 参与方式: 在本帖下回复任意内容 抽奖规则: 每位用户仅允许参与一次。 使用 官
IT之家 4 月 25 日消息,华为 WATCH Buds 2 今日 10:08 首销, 售价 3488 元起 ,国补到手价 2970.56 元起: 琥珀棕 (棕色素皮氟胶复合表带): 3488 元 ,国补到手价 2970.56 元 曜石黑 (黑色素皮氟胶复合表带): 3488
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
写了大概300行代码,甚至不到半个任务,直接被限速。完全到了不可用的水平。。。 GitHub你干点人事吧,你claude的模型被刷了别限gpt啊,又不是什么很聪明的模型。。。 9 个帖子 - 8 位参与者 阅读完整话题
gpt-5.5每百万输出30刀 gpt-5.5-pro每百万输出180刀 3 个帖子 - 3 位参与者 阅读完整话题
IT之家 4 月 25 日消息,微软今天(4 月 24 日)发布公告,邀请 Windows Insider 项目成员,测试 Windows 11 最新预览版, Beta 频道升至 Build 26220.8283;而 Experimental 频道升至 Build 26300.8