我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
技术 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第14页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 615 篇相关文章 · 第 14 / 31 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就
很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就
很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
结合一些帖子,用豆包专家模式探讨低价gpt plus来源,佬友们评价一下是否合理,这么说的话伪造收据理论上可以嫖好多好多gpt plus了。只要有足够的需求,就会有相应的供给呀 1 个帖子 - 1 位参与者 阅读完整话题
很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就
IT之家 4 月 25 日消息,据路透社报道,标致将使用长期合作伙伴东风的技术,在中国生产新车型。按照标致周五公布的计划,这些车不仅会供应中国市场,也会从中国出口到海外市场。 标致高调重返北京国际车展,并带来了两款全新概念车。对母公司 Stellantis 来说,这也意味着在经历
网站天天活跃度那么高,搞一场线下技术交流会大家觉得有必要吗? 9 个帖子 - 7 位参与者 阅读完整话题
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一