我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
一个 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第313页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 8944 篇相关文章 · 第 313 / 448 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
上次玩 PT 站差不多是十多年前了,玩的 TTG 。 最近这一个月一直在折腾 arr 体系,已经基本完善了。 想求一个 M-Team 邀请,本人遵守社区规则,现在的 Public BT 分享率也在 0.6 左右。NAS 是 DS925+,36T 硬盘。 附上我的 arr 架构图。
做了一个 GEO 工具平台,想听听大家对 AI 搜索优化的看法 最近一直在关注一个变化:越来越多问题,用户已经不是先去搜索引擎翻网页了,而是直接问 ChatGPT 、豆包、Kimi 、文心、Perplexity 这类 AI 工具。 传统 SEO 解决的是“我的页面能不能排在搜索结
做了一个 GEO 工具平台,想听听大家对 AI 搜索优化的看法 最近一直在关注一个变化:越来越多问题,用户已经不是先去搜索引擎翻网页了,而是直接问 ChatGPT 、豆包、Kimi 、文心、Perplexity 这类 AI 工具。 传统 SEO 解决的是“我的页面能不能排在搜索结
大家有没有遇到过这种情况,我有两个 PRO 账号,在 antigravity 里,A 账号正常使用,但是切换 B 账号后,虽然都是 PRO ,antigravity 好像视作是 FREE 账号,无限 high traffic 等待。我切换回 A 就又正常用了。 而且 B 账号显示
大家有没有遇到过这种情况,我有两个 PRO 账号,在 antigravity 里,A 账号正常使用,但是切换 B 账号后,虽然都是 PRO ,antigravity 好像视作是 FREE 账号,无限 high traffic 等待。我切换回 A 就又正常用了。 而且 B 账号显示
大家有没有遇到过这种情况,我有两个 PRO 账号,在 antigravity 里,A 账号正常使用,但是切换 B 账号后,虽然都是 PRO ,antigravity 好像视作是 FREE 账号,无限 high traffic 等待。我切换回 A 就又正常用了。 而且 B 账号显示
大家有没有遇到过这种情况,我有两个 PRO 账号,在 antigravity 里,A 账号正常使用,但是切换 B 账号后,虽然都是 PRO ,antigravity 好像视作是 FREE 账号,无限 high traffic 等待。我切换回 A 就又正常用了。 而且 B 账号显示
大家有没有遇到过这种情况,我有两个 PRO 账号,在 antigravity 里,A 账号正常使用,但是切换 B 账号后,虽然都是 PRO ,antigravity 好像视作是 FREE 账号,无限 high traffic 等待。我切换回 A 就又正常用了。 而且 B 账号显示
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
还隐藏着一个跳蚤市场,一直都不知道啊,里面好多宝藏 查看一番之后,才找到路径 第一步,在左侧栏找到更多,打开群组 第二步,在群组里面,选择加入交易分组,然后跳蚤市场就出现了 我是刚知道,赶紧去进货。。 5 个帖子 - 5 位参与者 阅读完整话题
一个给CLIProxyAPI配套的macOS菜单栏额度面板。它能把 Codex 凭证额度直接显示在菜单栏,并用卡片形式展示每个账号的剩余额度、刷新时间和低额度告警,支持设置自动刷新间隔,并显示倒计时,适合我这种额度焦虑的人 1 个帖子 - 1 位参与者 阅读完整话题
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺
奖品详情: GPT Plus 月卡 * 1 。 活动时间: 开始时间:发帖时间 截止时间:4月25号 22:00 参与方式: 回帖即可,因为避免审核问题,希望大家讲一下自己周末的心情,让加班的我羡慕羡慕,如果段子能够引起共鸣可能会有随机掉落噢。 抽奖规则: 每位用户仅允许参与一次
想做一个油猴插件,在linuxdo论坛发布回复和话题时自动调用ai检查是否违反论坛准则,避免违规,这个功能是否有需求? 1 个帖子 - 1 位参与者 阅读完整话题
大家好,我最近在做一个 AI 图片生成相关的小工具: https://promptsref.com/library/gpt-image 它本质上是一个 GPT Image Prompt Library ,主要想解决一个问题: 很多时候我们不是不会用 AI 生图,而是不知道一个好的
有些失望,就是 X 的一个聊天 Tab 独立为 XChat 了,替代不了 TG ,也替代不了微信。
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
看了下那些代理商,卖30一个 太贵了 上班负担不了(一天要跑完4个PLUS) 好像就3个渠道 xin、74、chong 有佬友知道源头地址吗 纯开发自用,非贩子 这是他们的充值地址 充值 兑换 ChatGPT CDK 5 个帖子 - 4 位参与者 阅读完整话题