Google – 5 May 26
Accelerating Gemma 4: faster inference with multi-token prediction drafters
An overview of how Multi-Token Prediction (MTP) drafters are making Gemma 4 models up to 3x faster at inference.
https://storage.googleapis.com/gweb-uniblog-publish-prod/original_videos/mtp_speed_2.mp4[!quote]+
我们为 Gemma 4 系列发布了多令牌预测 (MTP) 绘图仪。通过使用专门的推测解码架构，这些起草器的速度提高了 3 倍，而输出质量或推理逻辑却没有任何下降。
3 个帖子 - 2 位参与者
来源: linux.do查看原文