我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
8G - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第7页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 162 篇相关文章 · 第 7 / 9 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
IT之家 4 月 24 日消息,荣耀 600e 手机目前已悄悄现身 Geekbench 跑分库,该机具体型号为 LNA-NX3,单核跑分为 985 分,多核跑分为 2983 分。综合跑分信息,该机预计将搭载联发科天玑 7100 芯片,匹配 8GB RAM,搭载安卓 16 系统。
这是在应用里面装了什么东西,这么大存储空间?一个月前看电脑C盘还有70多个G的,今天给干红了,然后发现Claude占了13.8G。 7 个帖子 - 4 位参与者 阅读完整话题
佬们,目前我有一个4核8G的Ubuntu云服务器,但只跑了一个gitea,感觉有点浪费,有什么推荐可以充分利用云服务器吗? 5 个帖子 - 5 位参与者 阅读完整话题
佬友们,最近想入一台Macbook,M4Pro,48G+512的,在某鱼上找到很多MDM监管机,性价比极高,还是16寸的。 不知道这种机器有没有啥坑,机器会不会被锁死,变砖,卖家说可以绕过监管锁,绕过后和国行一模一样,随意升级还原。 佬友们帮分析一下能入吗 19 个帖子 - 11
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
IT之家 4 月 23 日消息,OpenAI 官方当地时间昨日宣布, 这家人工智能企业当前已锁定总功率超 8GW 的算力资源 ,离 2025 年初设立的 10GW 目标已经不远,而到 2030 年则将达到 30GW。 IT之家注意到,建设 1GW 规模的 AI 数据中心通常需要数
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
入手了一台 14 寸的 M5PRO 的 mbp ( 48G+1T ),发现在编译中型 rust 和 c++项目的时候风扇狂转。而之前用的 Mac mini M4 好像就没怎么听见风扇转过,当时还怀疑是不是风扇有问题。 想问一下大佬们,14 寸 M5PRO 的 mbp 是不是散热很
来源是小绿书,目前已有解锁成功的设备流出 闲 也有相关商品上架,价格在几百左右 说是通杀8g2到8e/8sg4所有相关机型 但是目前解锁成功且公开案例仅小米8e系列 比如这些 (点击了解更多详细信息) 找到了一个可能相关的高通avb漏洞poc 欲知后事如何,且听五一解锁日分解 2
IT之家 4 月 22 日消息,微星内部超频专家、主板部门工程师 Toppc 今日展示了其 MEG X870E Unify-X MAX 主板的 DDR5 内存超频能力,成功将双面 64GBx2 的 128GB 内存超至 9400 MT/s。 此次演示采用即将发布的新版 BIOS(
如题,在Amazon开的,把这茬给忘了,一看还剩不少赠金,kiro也开不出来,只能这么搞了 1 个帖子 - 1 位参与者 阅读完整话题
听说英伟达会罚款,但是找了一圈也没找到罚款信息,是不是真的? 4 个帖子 - 3 位参与者 阅读完整话题
依旧灵车大王 搞了个月付10欧128G内存24核的德国超大 pp付款 看看到时候给不给我争议的机会 3 个帖子 - 3 位参与者 阅读完整话题