折腾 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第6页 - 钛刻科技 | TCTI.cn

折腾 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第6页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 264 篇相关文章 · 第 6 / 14 页

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 22:05:33+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 22:05:33+08:00

自从公司每天配50m的 opus

自从公司每天配50m的 opus, 真的很少刷L站了 看到佬们还在折腾,如同看到之前天天折腾2api的我,真是满满的回忆 5 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-04-25 21:58:43+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 21:45:41+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 21:45:41+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 20:44:05+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 20:44:05+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 20:44:05+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 20:44:05+08:00

openclaw中的completions接口与responses接口

最近在折腾openclaw,注意到completions接口和responses接口好像都可以调用,想问问各位佬有这俩个的区别是什么,会不会对模型的智商和能力造成影响? 3 个帖子 - 3 位参与者 阅读完整话题

tech linux.do 2026-04-25 20:31:23+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 20:20:13+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 20:06:01+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 19:04:06+08:00

[硬件] 闲置硬盘再就业?

各位佬,小弟不咋折腾硬件,但是目前遇到个尴尬的问题,特地请教各位佬。 就是我手头有一台路由器,支持将一个 USB 口扩展成 nas ,我平日里将一个 4T 的机械硬盘通过硬盘盒连到这个 USB 口作为最终的 nas 存储,但是近期容量满了。然后我手头还有 2 个空的 2T 容量的

tech v2ex.com 2026-04-25 18:01:25+08:00

[硬件] 闲置硬盘再就业?

各位佬,小弟不咋折腾硬件,但是目前遇到个尴尬的问题,特地请教各位佬。 就是我手头有一台路由器,支持将一个 USB 口扩展成 nas ,我平日里将一个 4T 的机械硬盘通过硬盘盒连到这个 USB 口作为最终的 nas 存储,但是近期容量满了。然后我手头还有 2 个空的 2T 容量的

tech v2ex.com 2026-04-25 18:01:25+08:00

[推广] 昨天发了一篇牢骚消耗铜币,今天继续。今天想跟各位折腾 NAS 的老哥们聊个技术向的现实问题。

很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就

tech v2ex.com 2026-04-25 17:53:58+08:00

[推广] 昨天发了一篇牢骚消耗铜币,今天继续。今天想跟各位折腾 NAS 的老哥们聊个技术向的现实问题。

很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就

tech v2ex.com 2026-04-25 17:53:58+08:00

[分享创造] 闲置硬盘再就业?

各位佬,小弟不咋折腾硬件,但是目前遇到个尴尬的问题,特地请教各位佬。 就是我手头有一台路由器,支持将一个 USB 口扩展成 nas ,我平日里将一个 4T 的机械硬盘通过硬盘盒连到这个 USB 口作为最终的 nas 存储,但是近期容量满了。然后我手头还有 2 个空的 2T 容量的

tech v2ex.com 2026-04-25 17:52:35+08:00

[分享创造] 闲置硬盘再就业?

各位佬,小弟不咋折腾硬件,但是目前遇到个尴尬的问题,特地请教各位佬。 就是我手头有一台路由器,支持将一个 USB 口扩展成 nas ,我平日里将一个 4T 的机械硬盘通过硬盘盒连到这个 USB 口作为最终的 nas 存储,但是近期容量满了。然后我手头还有 2 个空的 2T 容量的

tech v2ex.com 2026-04-25 17:43:13+08:00

[分享创造] 闲置硬盘再就业?

各位佬,小弟不咋折腾硬件,但是目前遇到个尴尬的问题,特地请教各位佬。 就是我手头有一台路由器,支持将一个 USB 口扩展成 nas ,我平日里将一个 4T 的机械硬盘通过硬盘盒连到这个 USB 口作为最终的 nas 存储,但是近期容量满了。然后我手头还有 2 个空的 2T 容量的

tech v2ex.com 2026-04-25 17:21:01+08:00