请教如何推算模型部署需要的显存

如题,以模型minimax m2.5(原本权重,先不考虑量化)为例,如何知道这个模型具体需要多大的显存才可以部署? 另外,NPU还是GPU应该没多大区别吧,主要是看显存多少。 请佬们指条明路 12 个帖子 - 9 位参与者 阅读完整话题...
请教如何推算模型部署需要的显存
请教如何推算模型部署需要的显存

如题,以模型minimax m2.5(原本权重,先不考虑量化)为例,如何知道这个模型具体需要多大的显存才可以部署

另外,NPU还是GPU应该没多大区别吧,主要是看显存多少。
请佬们指条明路 :melting_face:

12 个帖子 - 9 位参与者

阅读完整话题

来源: linux.do查看原文