我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
技术 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第13页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 615 篇相关文章 · 第 13 / 31 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近呢,在尝试用Spring的各种最新的技术栈写一个练习的小项目,Spring boot用的都是最新的4.0.5。在这种情况下,我用Spring AI 2.0.0-SNAPSHOT很合理对吧 但是出现了一个诡异的情况的,AI返回来的响应似乎被阻塞了一样,首字响应时间巨长,然后所有
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
有没有佬友在用的,交流群里好像有技术人员,问题解决挺快的。 群友上午提的需求下午就实现了好像 而且据说codingplan在扩充算力 6 个帖子 - 6 位参与者 阅读完整话题
如题,取个现金反诈就上门了,非说我被诈骗了,我也是纳闷了,从技术角度,他是怎么判断的呢,是监听我手机还是什么?有没有懂的说一下。
很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就
很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就
刚刚在LinuxDoCDK站看到了这样的“广告” 感觉非常感动。乔布斯曾说过:永远站在科技与人文的十字路口,而现在,我们的家园LinuxDo也站在了这个十字路口。 技术不仅需要深度,更需要温度和人文关怀。 感谢您, @neo ,做了这个我唯一支持的广告。 渠道哪里来的?建议学习
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
昨天,是名副其实的AI圈“春晚”。DeepSeek-V4的技术报告一出,近60页的篇幅,从架构到训练到后训练全部摊开。484天,对这个团队来说不寻常。V3从V2到发布只用了不到8个月。V4为什么多花了将近一倍的时间? 认真研读完这篇报告,我们发现了背后可能的原因,以及这家“国产之
IT之家 4 月 25 日消息,爆料者 @jaykihn0 今日透露了更多有关未来英特尔至强处理器的消息。 首先,英特尔新一代全 E 核至强 6+“Clearwater Forest”处理器预计今年上半年推出。英特尔下一代全 P 核至强 Diamond Rapids 已推迟至 2
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
IT之家 4 月 25 日消息,onsemi(安森美)与吉利汽车集团今日宣布,双方已达成更广泛的全球战略合作。此次合作将 进一步深化安森美先进碳化硅技术 EliteSiC 在吉利浩瀚-S 超级电混架构中的集成 。 在本次合作框架下,吉利展示了 SEP 浩瀚超级电混系统。该系统电驱
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
很多人觉得播放器只支持 SMB 协议在户外没法用,但实际上,只要配合 Tailscale 这样的虚拟局域网(异地组网)工具,你在户外一样能完美地串流家里的 NAS 数据。 所以从本质上讲,Nas Player Pro 🍆 已经是一个完全独立的“全能 NAS 娱乐终端”了。当然,就
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
忘了从哪看到,Deepseek网页版的深度思考的深度是High? 但是 官方的技术报告 里提到,Max思考深度使用了特定提示词。 (翻译) (翻译) 提示词: Reasoning Effort: Absolute maximum with no shortcuts permitt