本地 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第19页 - 钛刻科技

[分享创造] Oh My PPT - 纯本地 AI 幻灯片生成与编辑工具

标题：做了个 HTML 版 PPT 生成器，治好了我的汇报焦虑 🎨💻 每次要做分享/汇报/路演/答辩最纠结的不是内容，而是 PPT 排版！改字体、对对齐、调间距…一做就是一下午，心累😫 市面上的 AI PPT 工具我也试过不少生成出来是挺快，但都是固定格式的文件想微调样式

相关专题

tech v2ex.com 2026-04-26 18:17:12+08:00

Antigravity 指纹浏览器账号登录求助

如题：登录Antigravity，拿到本地登录链接到指纹浏览器登录认证，认证成功了，IDE端好像拿不到返回认证后的结构，请教一下大家，如何进行解决，是否有解决方案。对登录认证流程不了解，感谢各位解答 1 个帖子 - 1 位参与者阅读完整话题

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech linux.do 2026-04-26 17:43:16+08:00

[分享创造] Oh My PPT - 纯本地 AI 幻灯片生成与编辑工具

标题：做了个 HTML 版 PPT 生成器，治好了我的汇报焦虑 🎨💻 每次要做分享/汇报/路演/答辩最纠结的不是内容，而是 PPT 排版！改字体、对对齐、调间距…一做就是一下午，心累😫 市面上的 AI PPT 工具我也试过不少生成出来是挺快，但都是固定格式的文件想微调样式

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech v2ex.com 2026-04-26 17:17:12+08:00

小白自建中转站求助

大佬们，我现在是本地部署的cpa（free+plus），我有点想整个服务器搭个节点可以给我朋友用，顺便剧透，我想问下服务器该怎么选？选哪里的服务器好一点，该怎么选配置，我现在还是学生预算有限，最好能性价比高一些。请教一下佬们 7 个帖子 - 7 位参与者阅读完整话题

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech linux.do 2026-04-26 16:55:07+08:00

2080ti 11g本地部署qwen 3.6 35b a3b，128k 上下文，67tps

我是windows上llama.cpp部署的，先看效果图。这里面，我用的模型是 unsloth 量化的 Qwen3.6-35B-A3B-UD-IQ1_M 模型。得益于其超强的量化，整个模型可以完美装在 2080ti 11g 显存里面，用 q4 量化上下文可以跑到128k 的上

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech linux.do 2026-04-26 16:52:57+08:00

[分享创造] Oh My PPT - 纯本地 AI 幻灯片生成与编辑工具

标题：做了个 HTML 版 PPT 生成器，治好了我的汇报焦虑 🎨💻 每次要做分享/汇报/路演/答辩最纠结的不是内容，而是 PPT 排版！改字体、对对齐、调间距…一做就是一下午，心累😫 市面上的 AI PPT 工具我也试过不少生成出来是挺快，但都是固定格式的文件想微调样式

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech v2ex.com 2026-04-26 16:17:12+08:00

[分享创造] Oh My PPT - 纯本地 AI 幻灯片生成与编辑工具

标题：做了个 HTML 版 PPT 生成器，治好了我的汇报焦虑 🎨💻 每次要做分享/汇报/路演/答辩最纠结的不是内容，而是 PPT 排版！改字体、对对齐、调间距…一做就是一下午，心累😫 市面上的 AI PPT 工具我也试过不少生成出来是挺快，但都是固定格式的文件想微调样式

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech v2ex.com 2026-04-26 16:17:12+08:00

[分享创造] Oh My PPT - 纯本地 AI 幻灯片生成与编辑工具

标题：做了个 HTML 版 PPT 生成器，治好了我的汇报焦虑 🎨💻 每次要做分享/汇报/路演/答辩最纠结的不是内容，而是 PPT 排版！改字体、对对齐、调间距…一做就是一下午，心累😫 市面上的 AI PPT 工具我也试过不少生成出来是挺快，但都是固定格式的文件想微调样式

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech v2ex.com 2026-04-26 15:17:12+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 13:41:17+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 13:41:17+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 13:41:17+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 12:41:17+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 11:41:17+08:00

为什么vscode插件版codex用不了5.5

请问各位佬，我vscode连接服务器，用codex的插件版，在模型列表里面为什么没有5.5啊。但是我在本地的codex应用里面是可以访问5.5的，同一个账号。本人plus用户，顺便问问现在plus大概是个什么价位，有无渠道，问了几个人都说风控，价钱快要和原价开差不多了。 5

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech linux.do 2026-04-26 11:11:12+08:00

把 ChatGPT Pro 通过 MCP 连上本地环境当半个 Codex 用，榨干订阅

具体 mcp 部署可以参考我之前的帖子或者搜索 catoncat/notion-local-ops-mcp 如果你是team版，还可以创建agent使用这个mcp 12 个帖子 - 5 位参与者阅读完整话题

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech linux.do 2026-04-26 08:48:39+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 04:07:34+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 04:07:34+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 04:07:34+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 03:07:34+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

最近在折腾本地大模型，发现一个核心问题：Ollama 和 LM Studio 能让模型跑起来，但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。于是做了个工具自动找最优配置，过程中踩了不少坑，记录一

相关专题

Webinar Brand Report Demographic Schedule 专题内容 Networking Upload Extension Economy Music Domain Calendar 专题内容影视 Market Efficiency Tracking Cloud Plugin 专题内容 Digital Visitor 专题内容游戏 Calculator Conversion Collaborate Responsive Navigation 专题内容 Budget Automation Spreadsheet Community 专题内容 Share Tutorial App Module Task Keyword Wellness 专题内容 Audience Message Achievement 视频 Feedback Automation 专题内容 Lesson Promotion 专题内容 Lead Login 专题内容 Rating Form About 专题内容 Presentation Goal Client Satisfaction Segment Webinar Roi 专题内容 Efficiency Fitness Demographic Version Project Folder Budget...Profit 专题内容 Performance AI 专题内容 Seminar Prospect Schedule 专题内容 Ebook Version Cheap Study Security Whitepaper 专题内容 Data Project Mobile Revenue Like Database 专题内容 Cheap Hotel Security Travel Marketing Global 专题内容 Vendor Accessibility Budget Performance Mobile 专题内容

tech www.v2ex.com 2026-04-26 02:07:34+08:00

本地 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第19页 - 钛刻科技 | TCTI.cn

相关标签