技术 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第16页 - 钛刻科技 | TCTI.cn

技术 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第16页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 615 篇相关文章 · 第 16 / 31 页

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 20:35:40+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:26:48+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:11:08+08:00

【GPT之被标记网安风险】朋友改个数据库技术栈都能碰上?救命

如图,虽然我朋友安慰自己说可能可以分解成小任务来绕过(?),但咱都确实不明所以。原来数据是 json 文件存储的,朋友让 gpt-5.5 用 prisma + sqlite 改造时马上碰上了。 我今天逆向时候也遇到过几次,我倒觉得可以接受,但我朋友这个请求集思广益,出个小小的绕过

tech linux.do 2026-04-24 20:07:49+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:06:39+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 19:59:44+08:00

[程序员] 分享一个 Vibe Coding 的双仓库 UI 提速技巧

两个仓库 第一个仓库只负责 UI ,技术栈 Vue + Tailwind 这个仓库不管业务逻辑,只做界面和简单交互,数据全部是 mock 的。 第二个仓库是正式产品,UI 跟第一个仓库完全一致 我给每个页面都配了 1:1 的对比测试。自动化脚本会同时对两个仓库截图,只要有 1px

tech v2ex.com 2026-04-24 19:57:39+08:00

最近火遍创作圈的 GPT Image2 是夯是拉?我给你们盘点了常用的使用场景,确实很夯!

今天咱不聊具体的技术原理,咱就聊聊这玩意儿有多么好玩儿,我们应该怎么用。 GPT image2 刚出的那几天,我基本上是玩得不亦乐乎,如果你是做自媒体的,无论是写教程、博客、科普文章还是做视频的,都可以立刻的把 image2 应用到自己的生产中。 很多人可能会很好奇,这一次的这个

tech linux.do 2026-04-24 19:46:33+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 19:41:32+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 19:41:32+08:00

[职场话题] 我是不是意味着职业生涯到期了?

从毕业到现在都工作 4 年多,简单概括整个工作生涯,工作上也没啥特别高深技术,就很纯粹的业务 Boy 。最近投了大半个月简历,且 op 都是专挑外包岗位去投,对面招聘 HR 拿完我信息就没后续了,面试机会也很少。前几天倒是有两三个电话面试打过来,都是问一些八股文,整体面试过程,我

tech v2ex.com 2026-04-24 19:38:33+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

[职场话题] 我是不是意味着职业生涯到期了?

从毕业到现在都工作 4 年多,简单概括整个工作生涯,工作上也没啥特别高深技术,就很纯粹的业务 Boy 。最近投了大半个月简历,且 op 都是专挑外包岗位去投,对面招聘 HR 拿完我信息就没后续了,面试机会也很少。前几天倒是有两三个电话面试打过来,都是问一些八股文,整体面试过程,我

tech v2ex.com 2026-04-24 18:38:33+08:00

[程序员] 我是不是意味着职业生涯到期了?

从毕业到现在都工作 4 年多,简单概括整个工作生涯,工作上也没啥特别高深技术,就很纯粹的业务 Boy 。最近投了大半个月简历,且 op 都是专挑外包岗位去投,对面招聘 HR 拿完我信息就没后续了,面试机会也很少。前几天倒是有两三个电话面试打过来,都是问一些八股文,整体面试过程,我

tech v2ex.com 2026-04-24 18:29:09+08:00