[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
提到 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第6页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 126 篇相关文章 · 第 6 / 7 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
不诱于誉,不恐于诽,率道而行,端然正己 1. 情绪的解耦:名声与我无关 “不诱于誉,不恐于诽” 不诱于誉 :当全世界都在赞美你、捧你(比如 DeepSeek 被捧为“国产之光”)时,你不会因此而飘飘然,不会为了维持这些赞美而去做违背初衷的事。你深知美誉往往带有泡沫。 不恐于诽 :
DeepSeek V4 好像官方那边给出的信息中还是没有提到多模态,也没有coding plan,佬们怎么看ds在如今大模型中所处的生态位 想听听佬们的理解 9 个帖子 - 9 位参与者 阅读完整话题
看了下官方的公众号介绍,没有提到多模态的内容。 似乎这次的两个v4模型还是都不支持多模态? 1 个帖子 - 1 位参与者 阅读完整话题
最近看到帖子 https://linux.do/t/topic/2017019 中提到了Subagents,看了下大概是防止污染上下文并且压缩上下文的时候用的,这个在Claude Code怎么用呀 8 个帖子 - 6 位参与者 阅读完整话题
某网友评论里提到了苦瓜,恰好本人是 eason 的至少 15 年老粉 难得有划水的时光,就趁这个机会把黄伟文作词的苦瓜从头到尾“赏”了一遍,感觉很有感触 年轻的时候心急气盛,越长大越被棱角磨平 年青的时候对很多事情的追求和执着,到现在看来其实都过眼云烟 我甚至让 deepseek
某网友评论里提到了苦瓜,恰好本人是 eason 的至少 15 年老粉 难得有划水的时光,就趁这个机会把黄伟文作词的苦瓜从头到尾“赏”了一遍,感觉很有感触 年轻的时候心急气盛,越长大越被棱角磨平 年青的时候对很多事情的追求和执着,到现在看来其实都过眼云烟 我甚至让 deepseek
某网友评论里提到了苦瓜,恰好本人是 eason 的至少 15 年老粉 难得有划水的时光,就趁这个机会把黄伟文作词的苦瓜从头到尾“赏”了一遍,感觉很有感触 年轻的时候心急气盛,越长大越被棱角磨平 年青的时候对很多事情的追求和执着,到现在看来其实都过眼云烟 我甚至让 deepseek
某网友评论里提到了苦瓜,恰好本人是 eason 的至少 15 年老粉 难得有划水的时光,就趁这个机会把黄伟文作词的苦瓜从头到尾“赏”了一遍,感觉很有感触 年轻的时候心急气盛,越长大越被棱角磨平 年青的时候对很多事情的追求和执着,到现在看来其实都过眼云烟 我甚至让 deepseek
某网友评论里提到了苦瓜,恰好本人是 eason 的至少 15 年老粉 难得有划水的时光,就趁这个机会把黄伟文作词的苦瓜从头到尾“赏”了一遍,感觉很有感触 年轻的时候心急气盛,越长大越被棱角磨平 年青的时候对很多事情的追求和执着,到现在看来其实都过眼云烟 我甚至让 deepseek
买的 api key 用不了了,网站所有商品也下架了
买的 api key 用不了了,网站所有商品也下架了
买的 api key 用不了了,网站所有商品也下架了
在过去,大多数教程都提到,使用 iKuai 的同时如果想要实现科学上网,通常需要额外配备一个 Openwrt 旁路由专门负责特定设备,这些设备通常需要把网关和 DNS 修改为旁路由 IP ,虽然同样能达成目标。而流控是 iKuai 一直以来宣传的强项,但这样一来,iKuai 几乎
此前曾提到过美国事件响应公司 DigitalMint 有勒索谈判专家收取黑客支付的好处费,帮助黑客勒索前来寻求帮助的受害者,日前这名谈判专家的其他两名同事也因为收受贿赂而被法庭审判,这些谈判专家甚至还参与部署勒索软件。 41 岁的安杰洛马蒂诺曾是勒索软件谈判代表,主要工作就是代表