我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第76页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 2888 篇相关文章 · 第 76 / 145 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近经常在网上刷到一些批判围剿一些中学生的视频 似乎当一个人试图展示自己的 “小众” 兴趣爱好的时候,就被人批斗成嘉豪,比如摇滚音乐,古典音乐,单机游戏,编程,经济学,加入你对这些方面一知半解,同时还乐于谈起,你就会成为嘉豪 可是嘉豪怎么你了,他又没有干什么真正缺德的事情,说不定
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
真•葡萄树 旁边还有正常的参考 最近没咋玩王者荣耀,这两天玩了几下 这是帮别人照料作物 第一次整了个巨大化 第二次整了个琥珀,把紫葡萄变成琥珀色了 离谱 9 个帖子 - 4 位参与者 阅读完整话题
最近windsurf的热度又起来了,最近好像也是有什么活动吧,之前一直不温不燥,现在看来也撑不太久了 相信在不久的将来就能看到微信公众号有人开始宣传这个东西了,然后应该拉闸了 5 个帖子 - 5 位参与者 阅读完整话题
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近做了一个在线军棋翻翻棋网站: https://jqh5.com/ 主打轻量、即开即玩,不用下载 App ,打开网页就能开始。玩法基于军棋翻翻棋,节奏比传统军棋更快,适合碎片时间来一局。 目前支持两种模式: 人机对战:一个人也能随时开局,适合熟悉规则、练手或消磨时间。 开房对战
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
仅个人猜测,我怀疑各大厂商之间在互相传蒸馏到的数据,至于为什么他们发布时间不一样,我觉得是在于如何使用蒸馏的数据吧,以上均为猜测,不代表官方! 3 个帖子 - 3 位参与者 阅读完整话题
大家好,最近在研究小游戏出海 tiktok ,目前海外主体在资质审核阶段。希望加入相关的社群,或者我来创建一个组织。有希望了解这块儿的或者已经在从事的可以留微我加你,或者你拉我。感谢大家。base64:bHNsYmxvZw==
大家好,最近在研究小游戏出海 tiktok ,目前海外主体在资质审核阶段。希望加入相关的社群,或者我来创建一个组织。有希望了解这块儿的或者已经在从事的可以留微我加你,或者你拉我。感谢大家。base64:bHNsYmxvZw==