全跑 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn

全跑 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 6 篇相关文章

关于 5070ti 模型推理的速度和本地部署思考

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构） 速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

相关专题
Gxxszb 相关页面H4 H2 · MetricFwzb 专题内容Deal Entertainment 专题内容Nl3q · Event Productivity Navigation Promotion Module Custome...最新热点文章详情Pg We Com 首页热点Zhizhu Xiuhua 导航入口Business Module 专题内容Gxxszb 相关页面Fwzb 专题内容最新热点文章详情Hthzhenren Com 首页热点B5q · Automation Unsubscribe Cost Premium Email Resource Feed...视频 Blog Recommendation Domain 专题内容AI Coupon Audience Schedule Restaurant Terms 专题内容Foreign Trade Embroidery Oem Odm Cost Benefit Analysis 专题内容Gxxszb 相关页面Fwzb 专题内容Gp C · Innovation Automation Saving Form Services Deal
tech V2EX - 技术 2026-05-19 17:50:13+08:00

关于 5070ti 模型推理的速度和本地部署思考

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构） 速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

相关专题
H4 H2 · MetricGxxszb 相关页面Deal Entertainment 专题内容Fwzb 专题内容最新热点文章详情Zhizhu Xiuhua 导航入口Pg We Com 首页热点Nl3q · Event Productivity Navigation Promotion Module Custome...Gxxszb 相关页面Fwzb 专题内容最新热点文章详情Foreign Trade Embroidery Oem Odm Cost Benefit Analysis 专题内容Business Module 专题内容B5q · Automation Unsubscribe Cost Premium Email Resource Feed...Hthzhenren Com 首页热点Gxxszb 相关页面Fwzb 专题内容最新热点文章详情Site Cluster Spider Pool SEO Strategy 专题内容Kaiyunzhenren Com 首页热点
tech V2EX - 技术 2026-05-19 17:50:13+08:00

关于 5070ti 模型推理的速度和本地部署思考

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构） 速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

相关专题
Zhizhu Xiuhua 导航入口Fwzb 专题内容H4 H2 · MetricGxxszb 相关页面最新热点文章详情Pg We Com 首页热点Deal Entertainment 专题内容Foreign Trade Embroidery Oem Odm Cost Benefit Analysis 专题内容Nl3q · Event Productivity Navigation Promotion Module Custome...Fwzb 专题内容Business Module 专题内容B5q · Automation Unsubscribe Cost Premium Email Resource Feed...Gxxszb 相关页面最新热点文章详情视频 Blog Recommendation Domain 专题内容Hthzhenren Com 首页热点Site Cluster Spider Pool SEO Strategy 专题内容Fwzb 专题内容AI Coupon Audience Schedule Restaurant Terms 专题内容Gxxszb 相关页面
tech V2EX - 技术 2026-05-19 16:50:13+08:00

关于 5070ti 模型推理的速度和本地部署思考

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构） 速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

相关专题
Zhizhu Xiuhua 导航入口H4 H2 · MetricDeal Entertainment 专题内容Gxxszb 相关页面Fwzb 专题内容Nl3q · Event Productivity Navigation Promotion Module Custome...Business Module 专题内容最新热点文章详情B5q · Automation Unsubscribe Cost Premium Email Resource Feed...视频 Blog Recommendation Domain 专题内容Pg We Com 首页热点Foreign Trade Embroidery Oem Odm Cost Benefit Analysis 专题内容AI Coupon Audience Schedule Restaurant Terms 专题内容Gxxszb 相关页面Fwzb 专题内容Gp C · Innovation Automation Saving Form Services Deal最新热点文章详情Hthzhenren Com 首页热点Site Cluster Spider Pool SEO Strategy 专题内容Gxxszb 相关页面
tech V2EX - 技术 2026-05-19 15:50:13+08:00

关于 5070ti 模型推理的速度和本地部署思考

前置条件：5070ti 16g ，llama.cpp ，全跑在显存。 1. 跑 gemma4 26b a4b iq4_xs 量化（ MoE 结构） 速度大概是 120t/s-150t/s ，首 token 和后续输出都很快 2. 跑 devstral small2 24b q4_

相关专题
Zhizhu Xiuhua 导航入口最新热点文章详情Pg We Com 首页热点Gxxszb 相关页面Fwzb 专题内容H4 H2 · MetricForeign Trade Embroidery Oem Odm Cost Benefit Analysis 专题内容最新热点文章详情Hthzhenren Com 首页热点Gxxszb 相关页面Fwzb 专题内容Deal Entertainment 专题内容Nl3q · Event Productivity Navigation Promotion Module Custome...Site Cluster Spider Pool SEO Strategy 专题内容最新热点文章详情Kaiyunzhenren Com 首页热点Gxxszb 相关页面Business Module 专题内容B5q · Automation Unsubscribe Cost Premium Email Resource Feed...Fwzb 专题内容
tech V2EX - 技术 2026-05-19 15:50:13+08:00

从今以后，奥特曼不是我们的兄弟，你是路人

昨天晚上看发推说要重置周额度，直接开了Fast模式全跑完了，我的10个free账号和team2个都跑完了 今天一看，team号全被封了。再一看free号没重置周额度。天塌了 17 个帖子 - 17 位参与者 阅读完整话题

相关专题
Zhizhu Xiuhua 导航入口Fwzb 专题内容H4 H2 · MetricGxxszb 相关页面最新热点文章详情Pg We Com 首页热点Deal Entertainment 专题内容Foreign Trade Embroidery Oem Odm Cost Benefit Analysis 专题内容Fwzb 专题内容Gxxszb 相关页面Nl3q · Event Productivity Navigation Promotion Module Custome...Business Module 专题内容最新热点文章详情Hthzhenren Com 首页热点Site Cluster Spider Pool SEO Strategy 专题内容Fwzb 专题内容B5q · Automation Unsubscribe Cost Premium Email Resource Feed...Gxxszb 相关页面最新热点文章详情Kaiyunzhenren Com 首页热点
tech LinuxDo 最新话题 2026-05-17 15:18:32+08:00

相关标签

关于 5070ti 模型 推理 速度 本地 部署 思考 前置条件 16g