如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
如题,wsl 配 rocm 下,sglang 没跑起来,vllm 跑起来了,但是动不动爆显存,只有跑个 2b 的模型才比较稳定,而且推理首字速度体感感觉比纯用 transformer 还慢。
transformer 我试了可以成功跑个 9b 的 gptq 模型(vllm 这个模型跑不成功报错 qwen3.5 什么 config 有问题,claudecode 修不了),是我不会用 vllm 还是消费级显卡就是不适合用这类推理框架?
我老婆,每天上下午各一杯瑞幸。虽然都是弄一些券,但是再加点啥小零食比如贝果啥的。 反正均价是一次 12 ,一天 25-3...
rt,我给搞丢了,问了他们的客服他们和我说要去香港的csl门市补才可以,代购感觉很贵(虽然比我往返300便宜),想问问佬...
今天刚到手使用体验一般,打算退了 降噪方面 普通模式,连空调声音都压不住,而且右耳有明显的电流声 深度模式,底噪声音太大...
备用机,红米note11pro原厂系统(澎湃1.0.18),已解BL已root,当前在B槽,我想OTA更到新版本,看到m...
但是我简单找了一两款事项提醒或者todolist类的软件,好像都没有在备注里增添这个功能,或者没有直接把网站显示出来。 ...
职业教育正在成为越来越多人的“主动选择”,中职赛道不再是备选项。 近日,北京中等职业教育自主招生广受关注。今年5月10日...
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · www.tcti.cn
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · www.aizhushou.shop
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · www.tcti.cn
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · www.aizhushou.shop
延展页面 · zhizhu.xiuhua.work
延展页面 · www.aizhushou.shop
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · www.tcti.cn
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work
延展页面 · zhizhu.xiuhua.work