[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
发现 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第67页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 2187 篇相关文章 · 第 67 / 110 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
公司后端写的接口部署到测试环境了,访问之后发现跨域了,把浏览器的跨域截图发给后端开发,问我报什么错了?难道都 2026 年还不理解跨域是什么原理吗?还需要我给他科普一下吗?心累。
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
以前在OpenCode中使用Claude和GPT的时候就发现. 同样GPT的聊天180ktoken, 一切到Claude就变成260ktoken, 我一度以为是GPT比较省Token. 现在用CC, 用Claude聊天, 显示160ktoken, 切到GLM5.1变成100kto
官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941
公司后端写的接口部署到测试环境了,访问之后发现跨域了,把浏览器的跨域截图发给后端开发,问我报什么错了?难道都 2026 年还不理解跨域是什么原理吗?还需要我给他科普一下吗?心累。
看到大家都在说ldc减少了,我就看了一眼我的,然后发现 ??? 扣就扣吧,给我整倒欠neo 353ldc了,刷个l站背上贷款了还 14 个帖子 - 11 位参与者 阅读完整话题
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
受人之托转发: 我在网上低价购入一台iphone14,结果到手后发现有物主锁打不开,商家已封禁账号。 我跟着b站的教程下载工具,并尝试进行游戏机激活,没有成功。 想问一下各位,有没有什么高见能绕过物主锁。(不要求插卡,能打游戏就行) 10 个帖子 - 9 位参与者 阅读完整话题
官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941
https://www.recycleai.vip/auth/register?domain=admin 好像是新开的有人去踩踩雷吗
官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941
它自己内置的浏览器窗体太小,还会调用 chrome 无头模式宽屏截图
它自己内置的浏览器窗体太小,还会调用 chrome 无头模式宽屏截图
官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941
佬们,新买了一台mac不会操作,我发现触控板是自然滚动,鼠标不是自然滚动,在设置里把触控板的自然滚动关了触控板好了但是鼠标又开始自然滚动了,换成关掉鼠标的自然滚动触控板又开始自然滚动了,咋办,好无解 24 个帖子 - 15 位参与者 阅读完整话题