折腾 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第8页 - 钛刻科技

[推广] 昨天发了一篇牢骚消耗铜币，今天继续。今天想跟各位折腾 NAS 的老哥们聊个技术向的现实问题。

很多人觉得播放器只支持 SMB 协议在户外没法用，但实际上，只要配合 Tailscale 这样的虚拟局域网（异地组网）工具，你在户外一样能完美地串流家里的 NAS 数据。所以从本质上讲，Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然，就

相关专题

tech v2ex.com 2026-04-25 13:00:41+08:00

[分享创造] 昨天发了一篇牢骚消耗铜币，今天继续。今天想跟各位折腾 NAS 的老哥们聊个技术向的现实问题。

很多人觉得播放器只支持 SMB 协议在户外没法用，但实际上，只要配合 Tailscale 这样的虚拟局域网（异地组网）工具，你在户外一样能完美地串流家里的 NAS 数据。所以从本质上讲，Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然，就

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 12:53:39+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech www.v2ex.com 2026-04-25 12:52:52+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech www.v2ex.com 2026-04-25 12:39:09+08:00

[分享创造] 昨天发了一篇牢骚消耗铜币，今天继续。今天想跟各位折腾 NAS 的老哥们聊个技术向的现实问题。

很多人觉得播放器只支持 SMB 协议在户外没法用，但实际上，只要配合 Tailscale 这样的虚拟局域网（异地组网）工具，你在户外一样能完美地串流家里的 NAS 数据。所以从本质上讲，Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然，就

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 12:15:46+08:00

[分享创造] 我做了一个可以免费使用的 GPT-image-2 生图网站，也接了 Grok 图片/视频

最近自己折腾了一个在线生图工具，主要是想把 GPT-image-2 、Grok 图片和 Grok 视频这些模型放到一个页面里，平时测试提示词、做参考图、生成一些海报/头像/封面会方便一点。网站地址： https://grok.17nas.com/ 目前网站可以直接免费试用，不过

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 11:40:14+08:00

[分享创造] 我做了一个可以免费使用的 GPT-image-2 生图网站，也接了 Grok 图片/视频

最近自己折腾了一个在线生图工具，主要是想把 GPT-image-2 、Grok 图片和 Grok 视频这些模型放到一个页面里，平时测试提示词、做参考图、生成一些海报/头像/封面会方便一点。网站地址： https://grok.17nas.com/ 目前网站可以直接免费试用，不过

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 11:40:14+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech www.v2ex.com 2026-04-25 08:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech www.v2ex.com 2026-04-25 06:39:55+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech www.v2ex.com 2026-04-25 05:39:55+08:00

那个cf优选项目真牛逼太好用了

有在用的佬吗有啥需要注意的吗用小号cf搞我自己折腾了半晚上自己的服务器搭搞半天最后看到个白嫖cf的搞完直接哦齁齁齁了 4 个帖子 - 4 位参与者阅读完整话题

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech linux.do 2026-04-25 03:57:36+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 02:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 02:18:07+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

System Webinar Development Account Client Experience Cheap 专题内容 Database Calendar Ranking Feedback URL Progress Prospect Mark...Target 专题内容 Achievement Screen Expense Story Keyword Strategy Tool 专题内容 Analysis Coupon Creative Investment Database Domain Login Par...Spreadsheet Support Presentation Cost Learning Analytics Sale...Planning Education Alliance Roi Blog 专题内容 Cloud Local Module Development Technology 专题内容 Report Audience Client Development Workshop Trading Image 专题内容 Contact Achievement Sale Extension 专题内容 Satisfaction Project Business Browser 专题内容 File Seminar Help Music Segment Progress 专题内容 Training Market Budget Web 专题内容 Keyword Training Customer Design Ranking 专题内容 Segment API Careers 游戏 Community Visitor 专题内容 Device User Restore Education Traffic 专题内容 API Change Seminar Discovery 专题内容 Digital Share Visitor Objective Optimization Lead Discovery E...财经 Luxury Reporting 专题内容 Web 专题内容

tech v2ex.com 2026-04-25 01:40:43+08:00

折腾 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第8页 - 钛刻科技 | TCTI.cn

相关标签