模型 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第55页 - 钛刻科技 | TCTI.cn

模型 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第55页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 2577 篇相关文章 · 第 55 / 129 页

[Local LLM] 请教一个关于模型训练主机配置的问题

主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以

tech v2ex.com 2026-04-26 03:14:45+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-26 03:07:34+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-26 02:07:34+08:00

codex 使用 5.4 以上版本模型压缩上下文总失败?

在长任务里 5.4 和 5.5 总会遇到这个问题,在碰到自动压缩上下文的时候如果当前模型是 5.4 以上,极大概率触发 stream disconnected 导致自动任务失败,并且重试继续失败无法当前会话,目前看来比较靠谱的办法是手动切换到 5.3 ,回复内容触发压缩上下文后,

tech www.v2ex.com 2026-04-26 02:07:24+08:00

请教codex里5.5超高模型显示训练截止日期为2024年6月, 这有办法解决吗

codex是pro号, cpa里就这一个号, 反代出来接的codex, 落地家宽ip, 今晚用的时候明显觉得不对劲, 问了一下,结果果然被换模型. 各位佬, 这个问题有办法解决么? 5 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-04-26 02:06:49+08:00

[Local LLM] 请教一个关于模型训练主机配置的问题

主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以

tech v2ex.com 2026-04-26 01:14:45+08:00

[Local LLM] 请教一个关于模型训练主机配置的问题

主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以

tech v2ex.com 2026-04-26 01:14:45+08:00

[Local LLM] 请教一个关于模型训练主机配置的问题

主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以

tech v2ex.com 2026-04-26 01:14:45+08:00

[Local LLM] 请教一个关于模型训练主机配置的问题

主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以

tech v2ex.com 2026-04-26 01:14:45+08:00

请教一个关于模型训练主机配置的问题

主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以

tech www.v2ex.com 2026-04-26 01:10:41+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-26 01:07:34+08:00

[Local LLM] 请教一个关于模型训练主机配置的问题

主要是用来部署 YOLO26 做数据集训练和目标检测或追踪的,图片数据暂定 5000 张(其实数据有很多,但是暂定用于训练的数据上限是 5000 张)。 目前有一台 RX6600xt ,但是 directML 好像也不能使这张卡参与训练计算,上网查了一下好像是对 7000 系列以

tech v2ex.com 2026-04-26 01:03:28+08:00

有什么比较权威公正的平台测评大模型能力?

现在大模型跑分有可能是被注水的,也就是提前只针对题库特别训练或者搞一些特调的模型去跑分刷榜,也有各种野榜或者是那种商业平台刷榜花钱定制冠军,让人难以分辨,有没有公认比较公正无商业化的测评平台 4 个帖子 - 4 位参与者 阅读完整话题

tech linux.do 2026-04-26 00:57:15+08:00

各大国产模型厂商最近发模型这么快,是不是有猫腻?

仅个人猜测,我怀疑各大厂商之间在互相传蒸馏到的数据,至于为什么他们发布时间不一样,我觉得是在于如何使用蒸馏的数据吧,以上均为猜测,不代表官方! 3 个帖子 - 3 位参与者 阅读完整话题

tech linux.do 2026-04-26 00:56:29+08:00

GPT爽死我了

虽然审查严格 但最新的生图模型真的有点东西 已经从以前的文字角色扮演 升级到图片角色扮演了 玩了一天真的爽死了… 5 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-04-26 00:51:48+08:00

GLM5.1不回复/不输出的问题

试了几个L站佬友的公益站,几乎所有的GLM5.1模型都不显示回复(或者只回复hi,你好之类的对话),但是控制台显示调用成功,有佬知道是什么情况嘛 7 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-04-26 00:16:41+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-26 00:07:34+08:00

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现

最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一

tech www.v2ex.com 2026-04-26 00:07:34+08:00

codex 使用 5.4 以上版本模型压缩上下文总失败?

在长任务里 5.4 和 5.5 总会遇到这个问题,在碰到自动压缩上下文的时候如果当前模型是 5.4 以上,极大概率触发 stream disconnected 导致自动任务失败,并且重试继续失败无法当前会话,目前看来比较靠谱的办法是手动切换到 5.3 ,回复内容触发压缩上下文后,

tech www.v2ex.com 2026-04-26 00:07:24+08:00

codex 使用 5.4 以上版本模型压缩上下文总失败?

在长任务里 5.4 和 5.5 总会遇到这个问题,在碰到自动压缩上下文的时候如果当前模型是 5.4 以上,极大概率触发 stream disconnected 导致自动任务失败,并且重试继续失败无法当前会话,目前看来比较靠谱的办法是手动切换到 5.3 ,回复内容触发压缩上下文后,

tech www.v2ex.com 2026-04-26 00:07:24+08:00