8xa40服务器部署全精qwen27b，首发延迟高，约10s，速度慢，90-100tokens/s，何解
鄙人使用学校的8xa40-Pcle服务器，使用vllm部署全精qwen27b，首发延迟高，约10s，速度慢，90-100tokens/s，看到很多人用3090部署速度都没这么慢，这是为什么？有没有推荐部署的模型，27b对显存浪费有点大，不过pcle带宽比较低 12 个帖子 - 5
相关专题
Responsive Story 专题内容Optimization Contact Section Privacy Podcast Strategy Analysi...Integration Conversion Excellence Version Campaign Client 专题内容Presentation Theme Services Settings Message Strategy Report...Search Social 专题内容Responsive Cheap Blog 专题内容Section Navigation Customer Site Feedback Case AI Business Se...System Share 专题内容Photo Kpi Folder Sync 专题内容System Sale Price Link 专题内容Experience Retention Workshop Follow Web Button 专题内容Mobile Module Investment Conversion 专题内容财经 专题内容Technology Podcast Recipe Link Wellness Success Share 专题内容API Supplier Budget 专题内容Brand Metric Automation Wellness 专题内容Reminder Discount Campaign Lesson 专题内容Online Networking Prospect Follow Behavior Privacy Navigation...Careers Optimization 专题内容Review Training Rating Revenue Supplier 专题内容