我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
一个 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第370页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 10172 篇相关文章 · 第 370 / 509 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
之前囤到一个还蛮喜欢的域名 Rapper.im ,所幸为这叠醋包了顿饺子饺子, 开发了个在线 AI Rap 生成工具 https://rapper.im 可以把社会热点或者文章贴进去生成一首歌,或者把一个诗词放进去让它用 rap 来表达 接了国内的模型,我试了一下 辛弃疾的《破阵
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
api.xiaoxin.cfd XINX - AI API Gateway 大佬们用完提提意见,别蹬太狠了 4 个帖子 - 4 位参与者 阅读完整话题
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
最近在做一个有点绕的小实验: 先用 AI 生成一张图片,再把这张图片拿去生成音乐。 比如先生成: 雨夜赛博朋克街道 海边日落 像素风游戏场景 复古唱片店 森林里的木屋 科幻电影海报 然后再让 AI 根据图片的氛围生成一段音乐。 我原来做的是一个 Image to Music 的小
看别人都能拿甲骨文来当做机场用了 然后我也心里痒痒 自己部署了一个233boy/sing-box 现在部署成功了 有个最大的问题就是为什么网速这么慢呀 11 个帖子 - 9 位参与者 阅读完整话题
其实我第一眼看见折叠手机,我感觉它像一个小尺寸的平板 然后,我和别人聊这个问题,我说,你为什么会买折叠手机?他说,折叠出来比较大,然后小尺寸平板还不能塞到他的裤兜里 折叠手机可以塞到他的裤兜里 他觉得比较方便 但是最近一些售后的问题让他很头疼 其实也不叫售后的问题吧 可以说叫体验
对原生claude用的还是太少了,不太懂背后机理,让他帮我改一个md文档,一次提问就能烧掉几十刀,如图是问了一个问题其中的几步调用。。。我哭死,求大佬们教教正确的问问题或者使用方式 9 个帖子 - 9 位参与者 阅读完整话题
TB上弄了一个apple store 付款的Claude pro,为此换了一个纯净度几乎100的家宽梯子,心里十分忐忑,大老板给实验室每个人关于AI的支出报销额度是100,我已超出,不想亏太多,看能活多久,做一个记录。 9 个帖子 - 5 位参与者 阅读完整话题
前言 ccr好用,但是一个提供商只能配置一个apikey。 于是想着写一个插件实现可以一次配置多个apikey。 最终效果: 在ccr ui页面api秘钥位置填写多个以英文逗号分割的apikey,就能每次使用不同的apikey。 详细教程 1. 将下面代码放到任意位置: modu
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
可能会被拒绝,不确保好用。因为需要接码,抽一个人。十分钟后开奖。 5 个帖子 - 4 位参与者 阅读完整话题
如题,我上个月用了 200M ,主要是 GPT5.4 和 Gemini3.1Pro
现在想稳定使用一个优秀的工具太难了,自己想整一个公益站或者中转站,有服务器/域名推荐的之类的吗? 7 个帖子 - 6 位参与者 阅读完整话题