请教如何推算模型部署需要的显存
如题,以模型minimax m2.5(原本权重,先不考虑量化)为例,如何知道这个模型具体需要多大的显存才可以部署? 另外,NPU还是GPU应该没多大区别吧,主要是看显存多少。 请佬们指条明路 12 个帖子 - 9 位参与者 阅读完整话题
m2 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第6页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 170 篇相关文章 · 第 6 / 9 页
如题,以模型minimax m2.5(原本权重,先不考虑量化)为例,如何知道这个模型具体需要多大的显存才可以部署? 另外,NPU还是GPU应该没多大区别吧,主要是看显存多少。 请佬们指条明路 12 个帖子 - 9 位参与者 阅读完整话题
中国移动Token Plan可以免费体验MiniMaxM2.5一个月,有需要的可以去试试,App首页直接搜索Token进入。 感觉Hermes用这个回复好慢啊 6 个帖子 - 5 位参与者 阅读完整话题
没用过 这两模型听说还可以 12 个帖子 - 6 位参与者 阅读完整话题
IT之家 4 月 23 日消息,Rambus 美国当地时间 22 日宣布推出面向 LPDDR SOCAMM2 模组的芯片组解决方案,为这一在 AI 服务器领域日渐得到青睐的内存外形规格提供支持。 Rambus 表示,此前针对 DDR 信号优化的标准 PCB 布局并不适合高速运行的
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊
今天看火山的 plan 升级到 glm5.1 和 minimax m2.7 了,有人测了速度如何咩?有长进吗? 之前用了一个季度的火山的lite,还凑合,下午有点慢。 现在该用京东的了,不过也就 glm5 能用,其他的也挤。 8 个帖子 - 4 位参与者 阅读完整话题
真的脸都不要了啊,都是用户还能这样歧视的啊
真的脸都不要了啊,都是用户还能这样歧视的啊