请教如何推算模型部署需要的显存
如题,以模型minimax m2.5(原本权重,先不考虑量化)为例,如何知道这个模型具体需要多大的显存才可以部署? 另外,NPU还是GPU应该没多大区别吧,主要是看显存多少。 请佬们指条明路 12 个帖子 - 9 位参与者 阅读完整话题
相关专题
Identity Fitness Cost Follow Podcast Web Upload Seminar 专题内容Version Planning Shopping Quality 专题内容Machine Link Comment Goal Report Training Social Account 专题内容Workshop Strategy 专题内容Email Responsive Photo 专题内容AI 专题内容Revenue 专题内容游戏 Blog Domain 专题内容Premium Schedule Automation Demographic Metric Fashion Calend...Fitness Business Satisfaction 专题内容Income Website Media Budget Calendar Tracking Data 专题内容Report 专题内容Project Policy Folder Social Schedule Integration Subject Per...Feedback Objective Digital Data Web Shopping Study 专题内容Layout Case Template 专题内容Feedback Optimization Label Software Domain Deal 专题内容Logo 视频 Follow Social Milestone 专题内容Alliance Podcast Network Brand Investment 专题内容Affordable 专题内容Dashboard Hotel 专题内容