工具 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第35页 - 钛刻科技 | TCTI.cn

工具 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第35页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 1153 篇相关文章 · 第 35 / 58 页

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 21:41:54+08:00

求·大佬推荐管理 codex 上下文的工具

每次工作进行到一半会提示我 希望各位佬推荐个可以管理历史对话,进行迁移的工具(最好gpt 跨 claude 也可以) 2 个帖子 - 2 位参与者 阅读完整话题

tech linux.do 2026-04-24 21:00:33+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:35:40+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:26:48+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:11:08+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 20:06:39+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 19:59:44+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 19:41:32+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-24 19:41:32+08:00

[推广] Codex 助力小项目,全部重写了一遍,有点意思!

🧊 导航魔方 NaviCube 智能单文件书签与导航站管理工具。 整理链接、定制样式、导出一个漂亮的 HTML 页面——无需注册、无需服务器、无需依赖。 ✨ 功能亮点 📂 拖拽管理书签分类 🎨 定制页面样式——布局、主题、颜色 🤖 AI 智能整理自动化 📤 导出为 HTML 或

tech v2ex.com 2026-04-24 19:09:37+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 18:48:29+08:00

[问卷] AI 编程工具使用情况(4)- v202604

之前的调查问卷: 第一次调查问卷 , 第二次调查问卷 , 第三次调查问卷 不熟悉这些工具的佬友可以参考: [数据] AI 编程工具汇总对比(4)- v202604 之前调查问卷的结果分析: 第一次调查问卷结果分析 , 第二次调查问卷结果分析 , 第三次调查问卷结果分析 本次问卷根

tech linux.do 2026-04-24 18:27:48+08:00

手机远程使用codex,哪个工具最好?

手机远程使用codex,哪个工具最好?经常不在电脑前面,而happy coder对codex的体验不好。 11 个帖子 - 11 位参与者 阅读完整话题

tech linux.do 2026-04-24 18:18:00+08:00

[数据] AI 编程工具汇总对比(4)- v202604

前言 经常有佬友问什么 AI 编程好用,不同的有什么区别,价格如何等。 于是做了一下汇总,消除信息差,帮助佬友选择。 网页版 同时做了个网页汇总这些信息,并可以对工具进行打分: AI 编程工具汇总对比 用过的可以去投票哦: [问卷] AI 编程工具使用情况(4)- v202604

tech linux.do 2026-04-24 18:13:52+08:00

[结果] AI 编程工具使用情况分析(3)- v202604

之前发起了关于 AI代码工具 的调查问卷(第三次),共有5个问题: [!info] 5 个问题 Q1 用过哪些 AI 编程工具?(多选):用于统计各工具 用过率 Q2 现在的主力 AI 编程工具是?(单选):用于统计各工具 主力率 Q3 认为目前最好的 AI 编程工具是?(单选)

tech linux.do 2026-04-24 17:42:41+08:00

deepseekv4 多轮工具调用后报错

如题我在多轮工具调用时出现这个报错 抱歉,发生了错误:HTTP 400: {“error”:{“message”:“Invalid assistant message: content or tool_calls must be set”,“type”:“invalid_requ

tech linux.do 2026-04-24 17:31:30+08:00