ok - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第62页 - 钛刻科技

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

tech v2ex.com 2026-04-24 20:35:40+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech www.v2ex.com 2026-04-24 20:35:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 20:26:48+08:00

supergrok换绑会容易掉吗，刚知道能换就换了，然后群友说容易掉，有没有佬知道的有点害怕

从hotmail换成gmail了 15 个帖子 - 4 位参与者阅读完整话题

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech linux.do 2026-04-24 20:18:24+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 20:11:08+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 20:06:39+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech www.v2ex.com 2026-04-24 19:59:44+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 19:41:32+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech www.v2ex.com 2026-04-24 19:41:32+08:00

[Apple] 看上了苹果店里展示 MacBook Neo 的那个垫子，哪里能买到？

电脑一般般，但是那个垫子感觉真不错。

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 19:19:41+08:00

一样的上下文, Claude占用Token是其他模型的1.5倍

以前在OpenCode中使用Claude和GPT的时候就发现. 同样GPT的聊天180ktoken, 一切到Claude就变成260ktoken, 我一度以为是GPT比较省Token. 现在用CC, 用Claude聊天, 显示160ktoken, 切到GLM5.1变成100kto

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech linux.do 2026-04-24 19:04:52+08:00

连自家工程师都不用Grok！马斯克欲“抄近道”砸600亿美元买下Cursor补编程短板

cj.sina.com.cn 连自家工程师都不用Grok！马斯克欲“抄近道”砸600亿美元买下Cursor补编程短板智通财经APP获悉，埃隆· 马斯克旗下人工智能(AI)初创公司xAI数月来一直试图说服企业客户使用其Grok聊天机器人来加速编程流程。但据知... https:

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech linux.do 2026-04-24 18:58:51+08:00

求问还有木有邀请送国产大模型token的平台

萌新求问目前还有没有便宜的相对稳定邀请送token，硅基流动用完了新的太贵七牛云被封了一个不敢用了 1 个帖子 - 1 位参与者阅读完整话题

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech linux.do 2026-04-24 18:48:40+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 18:48:29+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 18:48:29+08:00

token短时间内是不会降价的了

今年是AI的变现之年再叠加全球硬件供需失衡，导致硬件价格步步高升 token的价格基本和硬件的价格高度绑定要想token的价格回落就要看这几年的“AGI”是否实现了各位可以回想一下当年的流量套餐是花了多长时间才变成如今这样 2 个帖子 - 2 位参与者阅读完整话题

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech linux.do 2026-04-24 18:40:29+08:00

幸运神贴！有幸抽到佬的100个Free grok号，想来自己用不上，抽给大家一起分享福利（已征得原佬同意）！！

抽奖主题：分享幸运 grok free号 x10 * 10 奖品详情： [奖品]：grok free x10 * 10 活动时间：开始时间：2026-04-24 18:30 截止时间：2026-04-26 12:30 参与方式：在本帖下回复任意内容抽奖规则：每位用户仅允许

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech linux.do 2026-04-24 18:39:10+08:00

用的静态家宽ip，cpa获取codex token也add_phone

是怎么回事？IP不好使？用的2925邮箱 5 个帖子 - 4 位参与者阅读完整话题

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech linux.do 2026-04-24 18:31:30+08:00

[Apple] 看上了苹果店里展示 MacBook Neo 的那个垫子，哪里能买到？

电脑一般般，但是那个垫子感觉真不错。

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 18:06:56+08:00

[Apple] 看上了苹果店里展示 MacBook Neo 的那个垫子，哪里能买到？

电脑一般般，但是那个垫子感觉真不错。

相关专题

Recommendation Education Retention Marketing Register 专题内容 Partner Tracking 专题内容 Status Extension Story 专题内容 Experience App Sales 专题内容 Music System Training Products 专题内容 Landing Kpi Resource Restore Template Integration 专题内容 Platform Engagement Digital Alliance Fashion Support Company...Media 专题内容 Network Media Unsubscribe Personalization Support Like Qualit...Platform Market Theme Sync Affordable Technology 专题内容 Advertising Development Resource 专题内容 Sync Report User Reminder Demographic 专题内容 Client Target Innovation 专题内容 Support Unsubscribe 专题内容 Support 专题内容 AI 专题内容 Device Consulting Brand Global 专题内容 Module Navigation Platform Efficiency Analytics 专题内容 Tracking 专题内容 Learning Productivity Reminder Community Landing Notification...

tech v2ex.com 2026-04-24 17:57:06+08:00

ok - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第62页 - 钛刻科技 | TCTI.cn

相关标签