发现 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第64页 - 钛刻科技 | TCTI.cn

发现 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第64页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 2174 篇相关文章 · 第 64 / 109 页

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-25 05:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 03:39:55+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 03:39:55+08:00

没想到 2026 年,还要浪费大量时间在跨域问题上

公司后端写的接口部署到测试环境了,访问之后发现跨域了,把浏览器的跨域截图发给后端开发,问我报什么错了?难道都 2026 年还不理解跨域是什么原理吗?还需要我给他科普一下吗?心累。

tech www.v2ex.com 2026-04-25 03:37:46+08:00

浅谈吐槽一下目前发现的gpt5.5新审查机制

新审查是类似gemini的外审 但gpt5.5外审在正经工作的时候现在都是敏感肌 且频繁触发会导致该账号使用gpt5.5时的tps大幅降低 疑似为高风险账号导致遭到云端多次审查才会给你这次请求放行 也可能是强制路由到其他本来就慢模型 gpt5.5本身tps很快 一风控就特别明显

tech linux.do 2026-04-25 02:56:17+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 02:39:55+08:00

解决Codex创建ssh权限受阻问题 "Permission denied"

更新完新版Codex之后突然发现无法连接上我的ssh了 会出现Permission denied的字样 看起来是安全策略有了一些变更 那么直接给出解决方案: 在config.toml加上 approval_policy = “on-request” sandbox_mode =

tech linux.do 2026-04-25 02:33:12+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 02:18:07+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-25 01:40:43+08:00

今天是我生日,也是今天升三级,就说巧不巧吧

刚刚朋友发消息祝生日快乐,然后打开L站发现也是今天升三级。 7 个帖子 - 7 位参与者 阅读完整话题

tech linux.do 2026-04-25 00:32:12+08:00

发现用GPT 5.5以后TOKEN额度消耗反而更慢了

第一大原因是上下文256k,我会经常性新建会话 效率提升,很少问用户问题,让任务流畅执行 今天调用2000多次也只用了140M 7 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-04-25 00:22:49+08:00

粤语歌有押韵的说法吗

最近听到几首粤语歌,发现粤语歌作词的时候选字的读音好像有押韵的说法,是这样吗? 2 个帖子 - 2 位参与者 阅读完整话题

tech linux.do 2026-04-25 00:21:41+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 23:54:14+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 23:54:14+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 23:54:14+08:00

[Local LLM] 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech v2ex.com 2026-04-24 23:47:32+08:00

KIRO相关问题

最近在搞kiro2api,发现一个事,不知道各位佬是不是这样,使用账号下最高只支持到sonnet模型,看了一下doc文档,免费用户貌似是有opus4.6,4.7只提供给IDE用户 8 个帖子 - 4 位参与者 阅读完整话题

tech linux.do 2026-04-24 23:24:36+08:00

LDC积分平白无故扣了450多~

刚刚日常刷 帖子,然后想看看还有多久升三级,结果发现我辛辛苦苦攒的 LDC 显示 ±454。我没用积分换过东西啊,所以我的积分为什么会扣啊啊啊~有佬知道吗 FluxDo 软件中个人信息界面截图 14 个帖子 - 7 位参与者 阅读完整话题

tech linux.do 2026-04-24 23:23:25+08:00

纽约时报揭秘:马斯克如何借SpaceX为自己及其商业帝国“输血”?

4月24日,《纽约时报》的调查发现,火箭制造商SpaceX一直是埃隆·马斯克(Elon Musk)的一个重要财务工具,为这位亿万富翁提供低息贷款,并资助其陷入困境的其他公司。 马斯克 为个人获得贷款 2018年1月,马斯克需要1亿美元。他没有去找银行,而是求助于他创立并担任CEO

tech plink.anyfeeder.com 2026-04-24 23:05:26+08:00