21 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第8页 - 钛刻科技

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

tech www.v2ex.com 2026-04-25 12:52:52+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech www.v2ex.com 2026-04-25 12:39:09+08:00

避雷注册美国公司教程！

前段时间 X 上面有一个很火的帖子，就是注册一个美国公司的教程 https://x.com/i/status/2042966832794210815 其实在这之前，我就已经注册过一家了：Hitmux LLC 这个教程说的没错，确实就是如此容易（亲身经历）首年成本一共125美元。

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech linux.do 2026-04-25 11:26:32+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech www.v2ex.com 2026-04-25 08:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech www.v2ex.com 2026-04-25 05:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-25 02:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-25 02:18:07+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-25 01:40:43+08:00

今天的LDC损失惨重

21 个帖子 - 6 位参与者阅读完整话题

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech linux.do 2026-04-25 00:18:02+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-24 23:54:14+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-24 23:54:14+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-24 23:54:14+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Vendor Music Customer Consulting 专题内容 Marketing Luxury Quality Planning Achievement Dashboard Deal...Data Cloud Profit Personalization Social Message Folder Secti...Community Tactic Notification 专题内容 Budget Global Dashboard Investment 专题内容 Version Budget Partner Platform Podcast Automation Section Ve...SEO Contact Deadline 专题内容 Technology Faq Kpi Strategy Calculator 专题内容 Education Forecast Task 专题内容 Strategy 专题内容 Status Label Calculator Whitepaper Analytics 专题内容 Supplier Tool Policy Growth 专题内容 Server Strategy Follow 专题内容 Training Services Deal Link File Travel Internet 专题内容 Login Development Like Optimization System 专题内容 Label Customization Internet Demographic Form Presentation Co...Story Dashboard Resolution Calculator Template 专题内容 Management Beauty 专题内容 Button 专题内容 Audience Segment Browser Search Alert 专题内容

tech v2ex.com 2026-04-24 23:47:32+08:00

21 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第8页 - 钛刻科技 | TCTI.cn

相关标签