OK - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第106页 - 钛刻科技

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

tech v2ex.com 2026-04-24 23:03:46+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 23:03:46+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 22:48:43+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech www.v2ex.com 2026-04-24 22:48:43+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 22:41:38+08:00

有哪些适合放在mac上使用的键盘

平时连接外屏还是想把自己mac当做主屏使用想找一把适合放在macbook键盘上面的能卡住的 NuPhy这个也太贵了求问大家有没有比他便宜一点的比较合适的 4 个帖子 - 3 位参与者阅读完整话题

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech linux.do 2026-04-24 22:05:28+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 21:41:54+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 21:41:54+08:00

token出海, 说的就是deepseek吧?

今天看到deepseek v4的价格, 又想到原来看到的一个讨论: 普通人的翻身机会 = “token出海”. 感觉说的就是deepseek吧. 价格屠夫, 而且又不会被卡脖子. 锋哥牛逼!!! 1 个帖子 - 1 位参与者阅读完整话题

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech linux.do 2026-04-24 21:26:55+08:00

有没有佬用上grok的cli和bulid app，应该是开始灰度推送了，但是grok让我在grok网页跟x上反复横跳要安装包，也没有给

1 个帖子 - 1 位参与者阅读完整话题

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech linux.do 2026-04-24 21:07:57+08:00

MacBook 去掉刘海？苹果全新笔记本专利曝光，摄像头可拆卸、屏幕支持旋转

IT之家 4 月 24 日消息，据科技媒体 Android Headlines 今天报道，苹果最近申请专利《便携式电子设备的摄像头集成》，展示可拆卸摄像头、旋转显示屏的笔记本电脑概念。 IT之家了解到，苹果从 2021 年末起逐步为旗下 MacBook 产品线更新“刘海屏”，

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech www.ithome.com 2026-04-24 20:58:29+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech www.v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 20:35:40+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech www.v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 20:26:48+08:00

supergrok换绑会容易掉吗，刚知道能换就换了，然后群友说容易掉，有没有佬知道的有点害怕

从hotmail换成gmail了 15 个帖子 - 4 位参与者阅读完整话题

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech linux.do 2026-04-24 20:18:24+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 20:11:08+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech v2ex.com 2026-04-24 20:06:39+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Server Account Terms Growth Profit Calendar 专题内容 Social Conversion Restaurant 专题内容 Creative 专题内容 Seminar Entertainment Sale Food 视频 Forum 游戏 Technology 专题内容 Design Partner Share Tool Case Plugin Navigation 专题内容 Food Behavior Partner Tracking 专题内容 Customer Planning Label System About Alliance 专题内容 Consulting Widget Restore Excellence Domain Study Tool URL 专题内容 Domain Hotel Recommendation 专题内容 Form Search Link Management Podcast 专题内容 Analysis Domain Recommendation Calendar Beauty 专题内容 Identity Privacy Advertising Sport Rating Podcast Lead Widget...Funnel Planning Milestone Alliance Calendar Strategy Interfac...Help Funnel Subscribe Tracking Retention Study Lesson Experie...Update Identity Review 专题内容 Education 专题内容 Tracking Consulting Plugin Excellence Planning 影视专题内容 Notification Task Budget Food Calendar Demographic 影视 Change...Digital Seminar Excellence Analytics Upload Internet Web 专题内容 Achievement Discovery Schedule Wellness Website Ebook Global...

tech www.v2ex.com 2026-04-24 19:59:44+08:00

OK - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第106页 - 钛刻科技 | TCTI.cn

相关标签