我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
一个 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第395页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 10510 篇相关文章 · 第 395 / 526 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
有些失望,就是 X 的一个聊天 Tab 独立为 XChat 了,替代不了 TG ,也替代不了微信。
有些失望,就是 X 的一个聊天 Tab 独立为 XChat 了,替代不了 TG ,也替代不了微信。
抽奖主题:4个满血windsurf试用号,一人一个 奖品详情: [奖品]:windsurf试用号,还有9天过期,速抽。 活动时间: 开始时间: now 截止时间: 今晚20:00 参与方式: 在本帖下回复任意内容 抽奖规则: 每位用户仅允许参与一次。 使用官方抽奖工具随机抽取中奖
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
之前买的别家的一个月 200G 用不完,自建的写的是 400G ,十几天用完了,几天就用了 100G ,是协议什么的搞错了吗?有没有懂哥
之前买的别家的一个月 200G 用不完,自建的写的是 400G ,十几天用完了,几天就用了 100G ,是协议什么的搞错了吗?有没有懂哥
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
之前买的别家的一个月 200G 用不完,自建的写的是 400G ,十几天用完了,几天就用了 100G ,是协议什么的搞错了吗?有没有懂哥
这把幽默了DeepSeek V4 Pro解决了一个GPT-5.5循环无法解决的问题 - 搞七捻三 / 搞七捻三, Lv1 - LINUX DO 刚刚看到这个贴子 回个评论越打越长,最后决定还是发个帖子 感觉这次dsv4 很多人只看到了1m 注意力惊人这一个亮点 他很明显的展现出了
上个月重装系统把我的音乐库误删掉了,珍藏了十几年的音乐库啊!!现在想重建一个,现在各大平台下载的都是加密格式, 花线就算了还恶心
有点难搞啊,想复刻一个codex app出来玩一玩,用5.4还好,能抓下前端的代码出来,切到5.5聊两句就拉闸了,直接断开链接 1 个帖子 - 1 位参与者 阅读完整话题
还有65刀,可以用 GPT-5.5 https://api.cst9.com sk-cc1a07b67c96b2857b1765b1c891ef22939de14cae0f1ff32387100e2aa5376b 1 个帖子 - 1 位参与者 阅读完整话题
最近做了个小项目,太喜欢 links 的视频,用 AI Vibe Coding 把 YouTube 旅行摄影频道 @ linksphotograph 里出现过的地点整理出来,标到 3D 地球上。 地址: https://links-map.vercel.app GitHub: h
最近做了个小项目,太喜欢 links 的视频,用 AI Vibe Coding 把 YouTube 旅行摄影频道 @ linksphotograph 里出现过的地点整理出来,标到 3D 地球上。 地址: https://links-map.vercel.app GitHub: h
看到 V4 Pro 的 SimpleQA 比 GPT 和 Claude 强很多,又看到 Gemini 的 SimpleQA 比 V4 强很多。 正好最近看到一个比较抽象的梗,就问了一下这几个 AI,都没开联网 prompt (点击了解更多详细信息) 最后只有 Gemini 能答出
最近做了个小项目,太喜欢 links 的视频,用 AI Vibe Coding 把 YouTube 旅行摄影频道 @ linksphotograph 里出现过的地点整理出来,标到 3D 地球上。 地址: https://links-map.vercel.app GitHub: h