把 10.8GB vLLM 镜像的 Pod Ready 从 4m35s 降到 14s: Hermes + SOCI lazy loading 实测
最近在看 Kubernetes 上 AI 推理服务的冷启动问题,发现很多时候慢的不只是模型加载,容器镜像本身也很夸张。 比如 vLLM 这类镜像,里面有 PyTorch 、CUDA 、Python 依赖、系统库,动不动就是 10GB+。传统 containerd / overla
m3 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第4页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 158 篇相关文章 · 第 4 / 8 页
最近在看 Kubernetes 上 AI 推理服务的冷启动问题,发现很多时候慢的不只是模型加载,容器镜像本身也很夸张。 比如 vLLM 这类镜像,里面有 PyTorch 、CUDA 、Python 依赖、系统库,动不动就是 10GB+。传统 containerd / overla
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
现状 坐标北京郊区,目前骑本田 CM300 (我的第一辆机车),安全行驶 9000km ,经常单程 500km 旅行、跑高速。 CM300 单缸震得手麻,80km/h 以后提速太慢,打算换车,最好能长期持有。 目标 中排巡航 / 街车 不考虑 仿赛、ADV (单纯觉得不够帅) 要
tp-crh4kxm2lhpspb096vsoe5620rva7hm3la2h2h5664lhxlif 自己也不用,拿去用吧 1 个帖子 - 1 位参与者 阅读完整话题
飞书可能有隐水印,先不急,具体消息还没发出来,今天倒是名字改了,有消息了我就回来说说。 当时脑子一热买了一年的minimax,都吃灰好久了www M3加油啊!至少是老老实实的能干点真活呗QAQ 具体上下文和多模态还不清楚,有佬友根据官方发的图推测有1m的 8 个帖子 - 5 位参
IT之家 5 月 27 日消息,上海稀宇科技有限公司(MiniMax)今天在 X 平台发布推文, 预告将推出 MiniMax M3 系列模型。 该推文转发了一篇 5 月 26 日发表在 arxiv 上的论文《The MiniMax-M2 Series: Mini Activati
tp-s6r5i3v7hbser8jsniwejkn7pvyq2bb25m3y9pvin0tzjhsl 11,000,000,000 截止到6月底 2 个帖子 - 2 位参与者 阅读完整话题
https://token-plan-cn.xiaomimimo.com/v1 https://token-plan-cn.xiaomimimo.com/anthropic tp-cm39ug031jqtew0ofcu7w3fw2770o8cz8d3j104y99nxryg2 4
事儿闹大了,大事即将来临,目前非常的期待了 17 个帖子 - 16 位参与者 阅读完整话题
token: dHAtYzM3cXI2MGUzaXowZTdmdXRmeDcwb21paTc0bjQydnQ2aGVrdDNnY280YW1zZjNm base64 兼容 OpenAI 接口协议: https://token-plan-cn.xiaomimimo.com/v1 兼