to - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第74页 - 钛刻科技 | TCTI.cn

to - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第74页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 2448 篇相关文章 · 第 74 / 123 页

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 08:39:55+08:00

[分享发现] XChat 正式上架 App Store 了

有些失望,就是 X 的一个聊天 Tab 独立为 XChat 了,替代不了 TG ,也替代不了微信。

tech v2ex.com 2026-04-25 08:14:21+08:00

[分享发现] XChat 正式上架 App Store 了

有些失望,就是 X 的一个聊天 Tab 独立为 XChat 了,替代不了 TG ,也替代不了微信。

tech v2ex.com 2026-04-25 08:14:21+08:00

我的PR被Google合并了!!!

github.com/googleapis/python-genai docs: Add instruction for custom endpoint (#2335) main ← copybara/904525557 已合并 06:49PM - 23 Apr 26 UTC c

tech linux.do 2026-04-25 07:46:59+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 06:39:55+08:00

【求助】有佬友把openclaw和Hermes同时部署的吗

如题 openclaw火我就安装了,Hermes的star飙升我也部署了,现在进入天才陨落纪,token匮乏,就浅度使用,两个换着用,openclaw用的多,主要让它写和总结东西,Hermes用的少,主要让它操作浏览器完成一些自动化操作的事情,对了, 它们都是在VPS主机里直接部

tech linux.do 2026-04-25 06:32:03+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 05:39:55+08:00

[慢讯] Codex Desktop 0.125.0 已支持 GPT-5.5

CPA + Codex 4 个帖子 - 3 位参与者 阅读完整话题

tech linux.do 2026-04-25 03:45:06+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 02:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 02:18:07+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 01:40:43+08:00

「听劝的富可敌国」OneToken.sh GPT-5.5,人民币2元100万Token,23-24充值的用户百分百补偿,抽10名500万平台Token

从 「OneToken.sh」本站正式支持GPT-5.5,人民币2元100万Token,抽10位送500万Token【已听劝】 继续讨论: 官网: OneToken.sh 1M=100万Token 输入价格: 3元/M Token 输出价格: 12元/M Token 缓存输入:

tech linux.do 2026-04-25 00:34:09+08:00

被标记为网络安全风险有啥影响不 好怕被封号

此聊天已被标记为可能存在网络安全风险 背景 :我想codex帮我分析 GitHub - TheMythologist/GenP: Automatically builds GenP executables from source · GitHub 这个项目结果直接报错让我加入什么

tech linux.do 2026-04-25 00:29:31+08:00

发现用GPT 5.5以后TOKEN额度消耗反而更慢了

第一大原因是上下文256k,我会经常性新建会话 效率提升,很少问用户问题,让任务流畅执行 今天调用2000多次也只用了140M 7 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-04-25 00:22:49+08:00