折腾 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第10页 - 钛刻科技 | TCTI.cn

折腾 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第10页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 269 篇相关文章 · 第 10 / 14 页

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:26:48+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:11:08+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:06:39+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 19:59:44+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 19:41:32+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 19:41:32+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 19:03:41+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 18:16:20+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 18:04:18+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 17:58:09+08:00

折腾通了多agent多大模型协作的问题,coding plan套壳NewAPI踩坑分享

最近手头订阅了智谱 GLM 和 MiniMax 的 Coding Plan。但在实际使用中,遇到一个极其蛋疼的资源错配问题: GLM 不够用,MiniMax用不完 1. 遇到的问题 之前我使用的是 Claude Code,为了充分利用两个coding plan 计划是用 NewA

tech linux.do 2026-04-24 17:54:11+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 17:26:10+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 17:13:59+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 16:46:50+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 16:37:32+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 16:32:20+08:00

[分享发现] DeepSeek4 的数据没清理好啊,估计有得折腾

官网 DS4 专家模式,问题:如何只用一刀把四个一模一样的橘子:平均分给四个小朋友 看有人发小红书,我还以为 P 的,没想到自己上去试一下居然是真的 猜测用了贴吧的数据没处理好: https://tieba.baidu.com/p/8116300941

tech v2ex.com 2026-04-24 16:11:43+08:00

学习佬开paypal失败

大佬指出一系列防风控,去wiki捐款路线 我想着有张美卡再加日本接码 折腾2美元成功获得 难崩哈哈哈 不敢拿自己大号PayPal去采撷team的果实 其实现在team的试用也刷不出来 说我没有资格··· 2 个帖子 - 2 位参与者 阅读完整话题

tech linux.do 2026-04-24 15:57:17+08:00