我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
发现 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第57页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 2140 篇相关文章 · 第 57 / 107 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
应用接入l站登录后,我发现在授权登录后会卡很久甚至回调失败。 这个和服务器有关系吗,我的是阿里云国内的机器 2 个帖子 - 2 位参与者 阅读完整话题
到各个平台从评论到话题找到用户需求 尤其是小众领域 找到需求 研究对手 提供产品 每天进行推广和调研 多agent协作评论 每天给出一个最佳idea 3 个帖子 - 3 位参与者 阅读完整话题
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
年前常用的机场不挂梯子的情况下是可以正常访问官网的,年后回苏州发现流量快用完打算上官网购买个重置包,发现官网直接跳转江苏反诈网。但是询问省外的朋友能不能直连上机场,朋友都说可以直连,机场还可以用。最近拼的三个月的机场快到期了我就想看看先前的机场还能不能用,发现开着现在的梯子是可以
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
Windsurf的额度和cursor比怎么样,怎么自带密钥qwq 不过,我在试SWE-1.6和kimi2.5比较的时候,意外发现SWE-1.6好像kimi2.5好? 不过还是好奇额度和自带密钥的问题qwq 1 个帖子 - 1 位参与者 阅读完整话题
LD士多 买了个 key,随便跑了一次后发现用不了了 请佬们帮忙测试一下。 目前 我和我朋友好像都无法使用。佬们能用的话直接蹬 点击展开接口信息 (点击了解更多详细信息) 第一次电脑排版,感觉有点怪 我目前还是用不了,佬们直接蹬吧别浪费了 11 个帖子 - 7 位参与者 阅读完整
最近才发现L站居然有官方T恤! 又联想起往日大佬们疯狂设计LOGO的日子! 顿时热血沸腾! 光速化身L站首席设计师开干! (指启动Image 2) 话不多说,献图! LINUX DO 至尊黑金 LOGO (点击了解更多详细信息) 【设计思路】 完美音译! 字体既有霸气锐利,亦不失
这两天发现自己用的2925邮箱注册的账号全部需要手机号验证 昨天买个了xyz后缀的域名配置好CF的域名邮箱也全部需要手机号验证 这是我这边的情况,不知道各位佬这两种邮箱还能用吗 然后今天在我们论坛的帖子里刷到了相关icloud的文章,就实验了一下,目前可以正常没有手机号验证了 但
下午的时候, 突然发现之前买的账号被封禁了, 然后申请退款, 退款成功后, 又去闲鱼找代充, 充完以后, 又弹出了KYC, 又去找黑哥KYC验证, 最后终于充值成功! A 社真的太狗了, 他居然是充完钱才弹KYC验证的. 另外有没有佬友知道KYC验证以后还会不会封号? 或者有KY
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
我在 aistudio 发现了一个很奇怪的事情,就是 gemini-flash-latest 是 gemini-3-flash-preview 的 alias ,但两者定价不同,前者输入、输出分别是 0.3 、2.5 ,后者是 0.5 、3.0 ,不知各位是否留意到这个,应该放心