我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第74页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 2878 篇相关文章 · 第 74 / 144 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的
最近想看英文论文,但是我的英文水平有限,看不太懂,有什么好用且免费的翻译软件吗?(最好是搭配Ai)就是那种专业的看文献论文的软件。感谢各位佬!!!!!!!! 8 个帖子 - 8 位参与者 阅读完整话题
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的
之前换换IP还能接着用,点一下retry有时候也能用。今天早上似乎完全不行了。你们的都正常吗。上去官网看了下也没有什么更新。 9 个帖子 - 5 位参与者 阅读完整话题
最近在用 hermes 搭 gpt5.4,体验真的一言难尽。回复又长又绕,铺垫半天,最后还是落到如果你需要我可以怎样怎样,味太重了。 一开始还想直接给 hermes 做 soul 设定,后来想想现在都 gpt5.5 了,之后 6.0、7.0 还得一直跟着调,太折腾。 如果你和我一
想问下佬友们最近看了华为的 puraxmax有点心动,但是会担心系统是鸿蒙,会有一些不方便的地方。有没有佬友劝退或者支持购买的意见呢。 32 个帖子 - 28 位参与者 阅读完整话题
昨天把笔记本从包里拿出来放桌上的时候,没放稳摔下来(最近精神状态总是恍恍惚惚的,也不知道咋了),正好磕到角,角磕塌了,把屏幕崩掉了。 这个笔记本用了也有五六年了,本来也有换的打算,倒也说不上心疼,遂打开狗东搜索,然后发现天塌了,价格比年初都涨了小几千,给我干懵了,杀猪也不能这么杀
最近整理了一套独立开发立项调查流程,主要想解决一个问题: 一个 App / SaaS / 小工具,在真正开工前,到底值不值得做? 我的流程大概是: 看需求信号:App Store / Reddit / HN / 社区讨论 看竞品:评分、评论数、更新频率、定价方式 看付费证据:有没
最近整理了一套独立开发立项调查流程,主要想解决一个问题: 一个 App / SaaS / 小工具,在真正开工前,到底值不值得做? 我的流程大概是: 看需求信号:App Store / Reddit / HN / 社区讨论 看竞品:评分、评论数、更新频率、定价方式 看付费证据:有没
最近刚订购了一个minimax的token plan,把apikey填上去发现,点击获取模型会出现不支持模型列表,就算手动填了MiniMax-M2.7还是会提醒提示404,这是ccswitch的问题还是minimax的问题,这minimax不还是他们家赞助商吗,怎么这个支持都有问
各位大佬,最近想分析机场是直连中转还是专线的,看一些常见的方法是使用tracerout跟踪路由跳转。我使用结果全是(* * *)。 想请教各位大佬,有什么好的方法判断是直连还是中转还是专线的? 3 个帖子 - 3 位参与者 阅读完整话题
最近老是刷到甲骨文注册成功,早上又刷到一个注册成功的帖子,就尝试注册下,结果第一次就注册成功了,地区选择日本东京的,之前看到老说免费实例要抢,我心想再试下吧,结果第一次免费实例也创建成功了。这还要升级付费账户吗? 6 个帖子 - 5 位参与者 阅读完整话题
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近整理了一套独立开发立项调查流程,主要想解决一个问题: 一个 App / SaaS / 小工具,在真正开工前,到底值不值得做? 我的流程大概是: 看需求信号:App Store / Reddit / HN / 社区讨论 看竞品:评分、评论数、更新频率、定价方式 看付费证据:有没
300块的cursor学生优惠值得买吗 我看闲鱼上有类似的渠道呀 最近windsurf试用号经常出问题 想试试这个 2 个帖子 - 2 位参与者 阅读完整话题
最近整理了一套独立开发立项调查流程,主要想解决一个问题: 一个 App / SaaS / 小工具,在真正开工前,到底值不值得做? 我的流程大概是: 看需求信号:App Store / Reddit / HN / 社区讨论 看竞品:评分、评论数、更新频率、定价方式 看付费证据:有没