我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
工具 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第31页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 1147 篇相关文章 · 第 31 / 58 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
rt 我前两天开了个贴,求教佬友们推荐跨设备运维服务器的工具,有个佬友推荐了一个堡垒机。我今天部署了一下,那个回复可以解决我的问题。但我新人,不会设置佬友的回复是主贴的解决方案。请教一下各位佬: 1、怎么设置某佬友的回复贴是解决方案 2、设置解决方案后,那个主贴是结束回复功能了,
最好能够精确到句子或者段落,文章大约六千字数 9 个帖子 - 7 位参与者 阅读完整话题
5 小时限额 pro 1300 次, flash 7450 次 理论上可以用于其他工具比如 claude code ,opencode 说 go 可以用于第三方。
5 小时限额 pro 1300 次, flash 7450 次 理论上可以用于其他工具比如 claude code ,opencode 说 go 可以用于第三方。
做了一个 GEO 工具平台,想听听大家对 AI 搜索优化的看法 最近一直在关注一个变化:越来越多问题,用户已经不是先去搜索引擎翻网页了,而是直接问 ChatGPT 、豆包、Kimi 、文心、Perplexity 这类 AI 工具。 传统 SEO 解决的是“我的页面能不能排在搜索结
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
我寻思你们opencode用的不就是a/的协议么,怎么会出现工具调用的问题呢,匪夷所思了 消费还是要谨慎啊,贪小便宜又损失34rmb 28 个帖子 - 14 位参与者 阅读完整话题
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺
做了一个 GEO 工具平台,想听听大家对 AI 搜索优化的看法 最近一直在关注一个变化:越来越多问题,用户已经不是先去搜索引擎翻网页了,而是直接问 ChatGPT 、豆包、Kimi 、文心、Perplexity 这类 AI 工具。 传统 SEO 解决的是“我的页面能不能排在搜索结
最近 AI 工具更新频繁,尤其是 ChatGPT Pro 和 Grok 的加入,让不少小伙伴都想上车体验。但在订阅过程中,国内信用卡支付失败、账号被封、充值不到账等问题依然是大家的痛点。 结合我最近帮不少朋友解决问题的经验,总结了几个避坑指南分享给大家: 支付失败的常见原因 大部
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
做了一个 GEO 工具平台,想听听大家对 AI 搜索优化的看法 最近一直在关注一个变化:越来越多问题,用户已经不是先去搜索引擎翻网页了,而是直接问 ChatGPT 、豆包、Kimi 、文心、Perplexity 这类 AI 工具。 传统 SEO 解决的是“我的页面能不能排在搜索结
做了一个 GEO 工具平台,想听听大家对 AI 搜索优化的看法 最近一直在关注一个变化:越来越多问题,用户已经不是先去搜索引擎翻网页了,而是直接问 ChatGPT 、豆包、Kimi 、文心、Perplexity 这类 AI 工具。 传统 SEO 解决的是“我的页面能不能排在搜索结
最近 AI 工具更新频繁,尤其是 ChatGPT Pro 和 Grok 的加入,让不少小伙伴都想上车体验。但在订阅过程中,国内信用卡支付失败、账号被封、充值不到账等问题依然是大家的痛点。 结合我最近帮不少朋友解决问题的经验,总结了几个避坑指南分享给大家: 支付失败的常见原因 大部
win11 系统, 安装的chrome-devtools 在官方账号登录的模式下是可以设置工具权限为“Always allow”的,但是在3p模式下却不能,如下图所示: 官方账号模式: 3P模式: ai调研(貌似没有更简单的方式了): 1 个帖子 - 1 位参与者 阅读完整话题
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一