[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
工具 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第35页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 1153 篇相关文章 · 第 35 / 58 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
每次工作进行到一半会提示我 希望各位佬推荐个可以管理历史对话,进行迁移的工具(最好gpt 跨 claude 也可以) 2 个帖子 - 2 位参与者 阅读完整话题
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
🧊 导航魔方 NaviCube 智能单文件书签与导航站管理工具。 整理链接、定制样式、导出一个漂亮的 HTML 页面——无需注册、无需服务器、无需依赖。 ✨ 功能亮点 📂 拖拽管理书签分类 🎨 定制页面样式——布局、主题、颜色 🤖 AI 智能整理自动化 📤 导出为 HTML 或
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
之前的调查问卷: 第一次调查问卷 , 第二次调查问卷 , 第三次调查问卷 不熟悉这些工具的佬友可以参考: [数据] AI 编程工具汇总对比(4)- v202604 之前调查问卷的结果分析: 第一次调查问卷结果分析 , 第二次调查问卷结果分析 , 第三次调查问卷结果分析 本次问卷根
手机远程使用codex,哪个工具最好?经常不在电脑前面,而happy coder对codex的体验不好。 11 个帖子 - 11 位参与者 阅读完整话题
前言 经常有佬友问什么 AI 编程好用,不同的有什么区别,价格如何等。 于是做了一下汇总,消除信息差,帮助佬友选择。 网页版 同时做了个网页汇总这些信息,并可以对工具进行打分: AI 编程工具汇总对比 用过的可以去投票哦: [问卷] AI 编程工具使用情况(4)- v202604
之前发起了关于 AI代码工具 的调查问卷(第三次),共有5个问题: [!info] 5 个问题 Q1 用过哪些 AI 编程工具?(多选):用于统计各工具 用过率 Q2 现在的主力 AI 编程工具是?(单选):用于统计各工具 主力率 Q3 认为目前最好的 AI 编程工具是?(单选)
如题我在多轮工具调用时出现这个报错 抱歉,发生了错误:HTTP 400: {“error”:{“message”:“Invalid assistant message: content or tool_calls must be set”,“type”:“invalid_requ