Cal - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第7页 - 钛刻科技 | TCTI.cn

Cal - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第7页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 220 篇相关文章 · 第 7 / 11 页

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 22:48:43+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 22:41:38+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:26:48+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:11:08+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:06:39+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 19:41:32+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

在无人在意的角落,Ubuntu 26.04 LTS正式发布了。。。

官方新闻稿: Canonical Canonical releases Ubuntu 26.04 LTS Resolute Raccoon | Canonical The 11th long-term supported release of Ubuntu delivers de

tech linux.do 2026-04-24 18:48:09+08:00

启动claude code时报错Failed to clean tool calls

我用的ccNexus工具,就是一个本地proxy会自动负载可用的上游,然后claude code启动时就会一直切换一会,后面发消息对话是正常的,就启动这一阵 { "env": { "CLAUDE_CODE_DISABLE_NONESSENTIAL_T

tech linux.do 2026-04-24 15:13:02+08:00

deepseek v4 flash翻译挺不错的

尝试用ai优化过的calibre translator插件接入,发现翻译速度非常快,而且非常好的遵循提示词,以往会出现行数不一致的情况,deepseek v4 flash都不会有。 可以猛猛瞪了! 之前在网页测试感觉现在ai翻译都大差不差,不过我需要的专有名词保留以及尽量说人话的

tech linux.do 2026-04-24 13:51:14+08:00

【辟谣】智谱glm5和deepseekv4大部分训练都用的英伟达,而不是站里某些人传的昇腾

glm5有官方technical report,deepseekv4也有英文文档。连接如下 https://arxiv.org/pdf/2602.15763 huggingface.co DeepSeek_V4.pdf 68.21 KB 19 个帖子 - 12 位参与者 阅读完整

tech linux.do 2026-04-24 13:46:21+08:00

DeepSeekV4来了!!

deepseek.ai DeepSeek AI 2026: R1, V3 & Local AI Hub Access DeepSeek AI for free. Independent guides for Mixture-of-Experts (MoE) archite

tech linux.do 2026-04-24 11:12:16+08:00

deepseek api文档已更新v4

deepseek api文档已更新v4 api-docs.deepseek.com Your First API Call | DeepSeek API Docs The DeepSeek API uses an API format compatible with OpenAI

tech linux.do 2026-04-24 10:49:35+08:00

[Ubuntu] 最新 kernel 6.20 内核 ubuntu26.04lts 发布了

April 23, 2026 Today Canonical announced the release of Ubuntu 26.04 LTS, codenamed “Resolute Raccoon,” available to download and install fr

tech v2ex.com 2026-04-24 06:36:44+08:00

最新linux7.0内核 ubuntu26.04lts发布了

2026年4月23日 今天,Canonical宣佈釋出Ubuntu 26.04 LTS,代號為「Resolute Raccoon」, 可從ubuntu.com/download下載和安裝。 Resolute Raccoon以臨時版本中引入的以彈性為重點的改進為基礎,包括TPM支援

tech linux.do 2026-04-24 06:04:29+08:00