我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第79页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 2902 篇相关文章 · 第 79 / 146 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在做一个有点绕的小实验: 先用 AI 生成一张图片,再把这张图片拿去生成音乐。 比如先生成: 雨夜赛博朋克街道 海边日落 像素风游戏场景 复古唱片店 森林里的木屋 科幻电影海报 然后再让 AI 根据图片的氛围生成一段音乐。 我原来做的是一个 Image to Music 的小
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始
临近毕业,记录下最近一年的实习片段,留下些我存在过的痕迹。 背景 我是一名大四的学生,计算机专业。一年前大三下学期的时候我们就要开始决定是工作还是读研了。我属于比较迷茫,没有未来规划的人,家里条件一般。我也是不太喜欢家的人,可能就因为这个,我想要早点摆脱父母经济上的束缚,我选择了
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在做一个有点绕的小实验: 先用 AI 生成一张图片,再把这张图片拿去生成音乐。 比如先生成: 雨夜赛博朋克街道 海边日落 像素风游戏场景 复古唱片店 森林里的木屋 科幻电影海报 然后再让 AI 根据图片的氛围生成一段音乐。 我原来做的是一个 Image to Music 的小
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始
我最近的20个plus的号反重力掉了2个,其他的还一直正常,不知道各位佬的怎样? 顺便可以分享下渠道。 1 个帖子 - 1 位参与者 阅读完整话题
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在做一个有点绕的小实验: 先用 AI 生成一张图片,再把这张图片拿去生成音乐。 比如先生成: 雨夜赛博朋克街道 海边日落 像素风游戏场景 复古唱片店 森林里的木屋 科幻电影海报 然后再让 AI 根据图片的氛围生成一段音乐。 我原来做的是一个 Image to Music 的小
公司网管一名,最近公司电脑打开淘宝,点击搜索后的链接会出现下面的报错 400 Bad Request Your browser sent a request that this server could not understand. Powered by Tengine 刚开始