loc - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第13页 - 钛刻科技 | TCTI.cn

loc - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第13页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 317 篇相关文章 · 第 13 / 16 页

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 23:03:46+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 22:48:43+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 22:41:38+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:26:48+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:11:08+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:06:39+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 19:41:32+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

我的colocrossing的vps好像把移动的ip墙了

移动的ip访问不到搭建的服务。ssh也连不上。 2 个帖子 - 2 位参与者 阅读完整话题

tech linux.do 2026-04-24 17:06:20+08:00

求助 digitalocean 一直出现未选择国家/地区

通过 github 的链接跳转到 digitalocean 点击添加付款方式按钮后 出现弹窗后 点击 添加付款方式并使用GitHub 进行身份验证 一直出现未选择国家/地区 不知道啥情况 1 个帖子 - 1 位参与者 阅读完整话题

tech linux.do 2026-04-24 16:26:31+08:00

[酷工作] [全英文 or 全日文-远程工作-亚太时区] 可 relocate 日本优先 Growth Engineer / 前端 / UI/UX(AI × 二次元方向)

东京一家 AI 公司, 我们在做一款偏 AI × 内容 / 二次元文化方向的产品, 目前在找几类工程师 & 设计师加入团队(远程可,亚太时区)。 但先说清楚一件事: 👉 我们不是在找“只写代码 / 只画 UI”的人 👉 更希望你对「产品效果」本身感兴趣 🧠 我们在找什么人

tech v2ex.com 2026-04-24 16:04:11+08:00

[酷工作] [全英文 or 全日文-远程工作-亚太时区] 可 relocate 日本优先 Growth Engineer / 前端 / UI/UX(AI × 二次元方向)

东京一家 AI 公司, 我们在做一款偏 AI × 内容 / 二次元文化方向的产品, 目前在找几类工程师 & 设计师加入团队(远程可,亚太时区)。 但先说清楚一件事: 👉 我们不是在找“只写代码 / 只画 UI”的人 👉 更希望你对「产品效果」本身感兴趣 🧠 我们在找什么人

tech v2ex.com 2026-04-24 15:37:24+08:00

IOS限免- Jinx去广告终身版0元

IOS上去广告的APP Jinx限免了,有需要的赶紧入一个。 ‎Jinx - System-Wide Ad Blocker App - App Store 3 个帖子 - 3 位参与者 阅读完整话题

tech linux.do 2026-04-24 13:52:35+08:00

DeepSeekV4来了!!

deepseek.ai DeepSeek AI 2026: R1, V3 & Local AI Hub Access DeepSeek AI for free. Independent guides for Mixture-of-Experts (MoE) archite

tech linux.do 2026-04-24 11:12:16+08:00

火狐 Firefox 149 浏览器初步集成 adblock-rust 去广告引擎,含拦截 / 标注模式

IT之家 4 月 24 日消息,科技媒体 WinAero 昨日(4 月 23 日)发布博文,报道称在火狐 Firefox 浏览器 149 版本中,Mozilla 集成基于 Rust 语言的 Brave 广告拦截引擎 adblock-rust, 但该功能目前处于实验阶段,隐藏在浏览

tech www.ithome.com 2026-04-24 09:01:35+08:00