我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
To - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第63页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 2400 篇相关文章 · 第 63 / 120 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
技术详情 在线体验 GitHub Repo AltStore Podish 是一个面向 iOS / Apple Silicon 专门优化的高性能 Linux x86 用户态容器。它用 C++ 写了一个 i686 解释器核心,用 C# 写了 Linux 兼容层,在 iPhone 1
GPT-5.5 简要介绍(免费使用方法) GPT-5.5 免费使用方法 一、概述 GPT-5.5 是由 OpenAI 2026 年 4 月 24 日 推出的新一代大语言模型,相比 GPT-5.4 在推理能力、多模态理解、工具调用与稳定性方面都有明显提升,进一步向“通用智能助手(
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
GPT-5.5 简要介绍(免费使用方法) GPT-5.5 免费使用方法 一、概述 GPT-5.5 是由 OpenAI 2026 年 4 月 24 日 推出的新一代大语言模型,相比 GPT-5.4 在推理能力、多模态理解、工具调用与稳定性方面都有明显提升,进一步向“通用智能助手(
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
自建临时邮箱注册出现这个错误是什么问题: top 域名 各位大佬 9 个帖子 - 3 位参与者 阅读完整话题
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
大家好,最近在研究小游戏出海 tiktok ,目前海外主体在资质审核阶段。希望加入相关的社群,或者我来创建一个组织。有希望了解这块儿的或者已经在从事的可以留微我加你,或者你拉我。感谢大家。base64:bHNsYmxvZw==
大家好,最近在研究小游戏出海 tiktok ,目前海外主体在资质审核阶段。希望加入相关的社群,或者我来创建一个组织。有希望了解这块儿的或者已经在从事的可以留微我加你,或者你拉我。感谢大家。base64:bHNsYmxvZw==
按照佬友的分享,终于将Claude Desktop 配上了国模,但是使用过程中发现无法使用WebSearch 和 WebFetch,显示 “not enabled in this context”。插件也安装不了。有哪位大神知道怎么解决么? 1 个帖子 - 1 位参与者 阅读完整
佬友们,晚上八九点开始突然输出速度好慢呀,只有几token? 白天的时候不开Fast都很快呀 是俺的问题吗 12 个帖子 - 5 位参与者 阅读完整话题
从 「GenericAgent一键启动器」token饥荒?放弃龙虾吧! 继续讨论 各位佬友,本次主要是给使用我启动器的佬友们说明一下新版启动器迭代成安装包后应该怎么替换 首先不要担心,就算你不看我这个教程也不会损失你的记忆和会话,这个教程的目的是帮助大家平滑地迁移对启动器的设置,