我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
工具 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第29页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 1146 篇相关文章 · 第 29 / 58 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
5 小时限额 pro 1300 次, flash 7450 次 理论上可以用于其他工具比如 claude code ,opencode 说 go 可以用于第三方。
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
想接到自己的号池,有没有什么可以转发请求的工具。 3 个帖子 - 3 位参与者 阅读完整话题
以前用命令行为每个模型启动一个 llama-server ,管理起来挺麻烦的,尤其是切换模型看日志的时候。 最近写了个 Web 管理工具,核心功能: 多实例管理 - 同时运行多个 llama-server ,通过卡片管理 实时日志 - SSE 推送,启动/停止自动切换到对应实例
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺
IT之家 4 月 25 日消息,据新华社报道,中国科学技术大学今天在安徽合肥发布“灵境造物”智能科研工具,面向全球科研主体开放, 标志着“人工智能驱动的科学研究”正走向工程化、平台化和开放共享 。 据报道,本次发布的“灵境造物”以昇腾、鲲鹏、华为云为根基,基于全栈国产化软硬件生态
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
用 ChatGPT5.4 做的一个 CSV 转到 XLSL 格式的一个在线工具,它是一个简单、安全、免费的在线 CSV 转 Excel 工具,适合需要快速处理表格文件的用户。你可以直接在浏览器中将 CSV 文件转换为.xlsx 格式,无需安装 Excel 、无需注册账号,也不需要
现有的一些增强工具如 V2EX Polish 会对样式有很大的修改,并且有很多不需要的功能。于是根据我自己的需求 vibe 了一个脚本。只有一些简单的修改,代码也不长方便审计。我完全不懂前端,由 Gemini 老师完成初版,codex 后续完成一些优化。分享出来,欢迎大家使用。
现有的一些增强工具如 V2EX Polish 会对样式有很大的修改,并且有很多不需要的功能。于是根据我自己的需求 vibe 了一个脚本。只有一些简单的修改,代码也不长方便审计。我完全不懂前端,由 Gemini 老师完成初版,codex 后续完成一些优化。分享出来,欢迎大家使用。
潜水好久,第 2 次在 V2 发创造帖,有点紧张。 事情起因是去年底开始做跨境电商,作为新手踩了太多工具的坑: 看了一堆“必备工具”推荐文章,收藏夹塞爆,真要用的时候不知道先点哪个 更崩溃的是,很多工具在国内打不开,或者打开慢到怀疑人生,找平替又得重新搜 有些工具年费大几百刀,买
openclaw 不是 issue 和 pr 积攒了非常多嘛(五千多个),然后原作者又开发了个 clawsweeper 工具来自动化清理垃圾,这做法真的是非常符合龙虾理念了。 某种程度上说 openclaw 也算是一种 AI 实验了,不知道这堆叠床架屋的 vibe coding
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺