显存 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技

关于 5070ti 模型推理的速度和本地部署思考

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构）速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

tech V2EX - 技术 2026-05-19 17:50:13+08:00

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构）速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

tech V2EX - 技术 2026-05-19 17:50:13+08:00

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构）速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

tech V2EX - 技术 2026-05-19 16:50:13+08:00

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构）速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

tech V2EX - 技术 2026-05-19 15:50:13+08:00

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构）速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

tech V2EX - 技术 2026-05-19 15:50:13+08:00

尝试使用2xB300 270GB 使用VLLM框架部署deepseek-v4-flash，给大家分享记录一下日志里的一些关键记录，希望可以帮助有需要的人，我之前上网一直没找到自部署的相关内容，也希望大家和我交流一下 (Worker_TP0_EP0 pid=1051) INFO 0

tech LinuxDo 最新话题 2026-05-15 19:06:34+08:00

佬友们，想问一下，关于电脑性能上内存和处理器是不是应该综合看。就是我理解的话处理器就像发动机一样，越好的处理器越能用更少的内存完成更多的任务，而内存就像油箱，保证有足够的资源供CPU占用。这么理解对吗？显卡和显存是不是也是一样？ 6 个帖子 - 6 位参与者阅读完整话题

tech LinuxDo 最新话题 2026-05-13 11:46:29+08:00

简而言之：Fish Speech 1.5 + 真实参考音色（可以直接让 hermes 去 youtube 和 bilibili 去扒，选自己喜欢的，没有 bgm 的，最好是那种纯聊天的视频）关键配置： "chunk_length": 400, "t

tech v2ex 2026-05-12 23:08:22+08:00

在全球显存供应吃紧、硬件价格普遍走高的背景下，有消息称 AMD 仍将跟随英伟达推出一款全新的入门级桌面显卡——配备 8GB 显存的 Radeon RX 9050，而并非提前发布高端 RDNA 5 产品。据爆料来源 VideoCardz 报道，这款显卡将基于频率下调版的 Navi

tech cnBeta全文版 2026-05-12 20:35:25+08:00

听说8GB显存本地部署并且可以NSFW Sulphur 2，基于 LTX 2.3 深度微调，大幅放宽了内容限制，只过滤非法内容，在本地拥有更高的创作自由。支持文生视频、图生视频、音频同步、首尾帧控制等，同时还能在消费级显卡上运行。部署用 ComfyUI 官方地址 huggi

tech LinuxDo 最新话题 2026-05-11 22:24:21+08:00

IT之家 5 月 10 日消息，据科技媒体 Videocardz 今天报道，索泰现已低调发布 GeForce RTX 5070 AMP 白色版显卡，基于英伟达 GB205 核心打造。 IT之家从报道中获悉，这是索泰首款 RTX 50 系白色 AMP 显卡，采用双槽设计，拥有

tech IT之家 2026-05-10 10:13:32+08:00

IT之家 5 月 7 日消息，据 Tech4gamers 报道，PS6 主机已近在眼前，多位业内消息人士预测，索尼计划在 2027 年推出这款新机。主机的售价目前仍存在争议，但考虑到其光线追踪性能提升十倍、还搭载了基于机器学习的帧生成技术，1000 美元的定价并不算离谱。尽管如

tech IT之家 2026-05-07 15:25:35+08:00

我有一个朋友，win电脑升级成了32g+2tb，5070（显存12g），想部署个本地模型玩玩，求推荐的模型。我自己查的说qwen3.6-27B在coding上不错，对于一般化场景gemma4 31B不错？ 16 个帖子 - 7 位参与者阅读完整话题

tech linux.do 2026-05-06 12:02:05+08:00