我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
工具 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第25页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 1141 篇相关文章 · 第 25 / 58 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
所有的工具都是最新版的,ps(如果使用OpenAI账户直登是没有问题): CC Switch : 版本v3.14.1 CPA: 版本CLIProxyAPI Version: 6.9.38 codex:版本Codex CLI 0.125.0 CPA相关设置: CC Switch相关
一直想找个工具管理自己的配菜,看了下市面上的产品,要么就是记录戒撸的,要么就是记录经期顺便记录性生活的。只好自己动手了。 支持「双人/单排」双模式记录。 「配菜库」管理,支持导入 E 站/P 站等收藏链接。 支持地图打卡、成就系统、详细的数据回顾与趋势分析。 目前已上架 goog
一直想找个工具管理自己的配菜,看了下市面上的产品,要么就是记录戒撸的,要么就是记录经期顺便记录性生活的。只好自己动手了。 支持「双人/单排」双模式记录。 「配菜库」管理,支持导入 E 站/P 站等收藏链接。 支持地图打卡、成就系统、详细的数据回顾与趋势分析。 目前已上架 goog
一直想找个工具管理自己的配菜,看了下市面上的产品,要么就是记录戒撸的,要么就是记录经期顺便记录性生活的。只好自己动手了。 支持「双人/单排」双模式记录。 「配菜库」管理,支持导入 E 站/P 站等收藏链接。 支持地图打卡、成就系统、详细的数据回顾与趋势分析。 目前已上架 goog
上次拿ai写论文还是上次,没想到又要帮人改论文了。 谁叫学妹嘴甜呢。。。。 就想问下佬们现在写论文,降重,查找外文文献用的啥工具? 还有个听说现在aicg检测完全是坑钱的?故意提前ai检测量。想佬们给下经验嘻嘻 3 个帖子 - 2 位参与者 阅读完整话题
一直想找个工具管理自己的配菜,看了下市面上的产品,要么就是记录戒撸的,要么就是记录经期顺便记录性生活的。只好自己动手了。 支持「双人/单排」双模式记录。 「配菜库」管理,支持导入 E 站/P 站等收藏链接。 支持地图打卡、成就系统、详细的数据回顾与趋势分析。 目前已上架 goog
Vibe Coding 时代一句话写代码很容易,但需求模糊就容易写歪返工。 Vibe Coding 需求分析工具。任何 AI 编程助手安装后,自动执行多轮客户调研 → 生成结构化 PRD → 输出技术实现方案。 解决的问题是:Vibe Coding 时代"一句话生成代码
5 小时限额 pro 1300 次, flash 7450 次 理论上可以用于其他工具比如 claude code ,opencode 说 go 可以用于第三方。
一、Claude Code 介绍 Claude Code 是 Anthropic 推出的面向开发者的 AI 编程协作工具,与传统的 Chat 模式不同,Claude Code 是一个能读项目、懂上下文、遵守约束的 AI 编程搭档。 Claude Code 核心目标是理解你的整个项
一、Claude Code 介绍 Claude Code 是 Anthropic 推出的面向开发者的 AI 编程协作工具,与传统的 Chat 模式不同,Claude Code 是一个能读项目、懂上下文、遵守约束的 AI 编程搭档。 Claude Code 核心目标是理解你的整个项
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺
想找一个根据query搜索返回微信公众号文章的工具 但会被搜狗微信搜索反爬 1 个帖子 - 1 位参与者 阅读完整话题
标题:做了个 HTML 版 PPT 生成器,治好了我的汇报焦虑 🎨💻 每次要做分享/汇报/路演/答辩 最纠结的不是内容,而是 PPT 排版! 改字体、对对齐、调间距…一做就是一下午,心累😫 市面上的 AI PPT 工具我也试过不少 生成出来是挺快,但都是固定格式的文件 想微调样式
Vibe Coding 时代一句话写代码很容易,但需求模糊就容易写歪返工。 Vibe Coding 需求分析工具。任何 AI 编程助手安装后,自动执行多轮客户调研 → 生成结构化 PRD → 输出技术实现方案。 解决的问题是:Vibe Coding 时代"一句话生成代码
Vibe Coding 时代一句话写代码很容易,但需求模糊就容易写歪返工。 Vibe Coding 需求分析工具。任何 AI 编程助手安装后,自动执行多轮客户调研 → 生成结构化 PRD → 输出技术实现方案。 解决的问题是:Vibe Coding 时代"一句话生成代码
一直想找个工具管理自己的配菜,看了下市面上的产品,要么就是记录戒撸的,要么就是记录经期顺便记录性生活的。只好自己动手了。 支持「双人/单排」双模式记录。 「配菜库」管理,支持导入 E 站/P 站等收藏链接。 支持地图打卡、成就系统、详细的数据回顾与趋势分析。 目前已上架 goog
一直想找个工具管理自己的配菜,看了下市面上的产品,要么就是记录戒撸的,要么就是记录经期顺便记录性生活的。只好自己动手了。 支持「双人/单排」双模式记录。 「配菜库」管理,支持导入 E 站/P 站等收藏链接。 支持地图打卡、成就系统、详细的数据回顾与趋势分析。 目前已上架 goog
一直想找个工具管理自己的配菜,看了下市面上的产品,要么就是记录戒撸的,要么就是记录经期顺便记录性生活的。只好自己动手了。 支持「双人/单排」双模式记录。 「配菜库」管理,支持导入 E 站/P 站等收藏链接。 支持地图打卡、成就系统、详细的数据回顾与趋势分析。 目前已上架 goog