[Qwen3.6]27B-FP8 SGLang本地部署-venv dev经验分享。
上集回顾 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 环境: WLS2 Ubuntu22.04 硬件: 4090 48G SGLang太佛系了,快一个月了还不更新正式版,需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 我测试了两个模型。以及DF
llm - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 215 篇相关文章 · 第 1 / 11 页
上集回顾 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 环境: WLS2 Ubuntu22.04 硬件: 4090 48G SGLang太佛系了,快一个月了还不更新正式版,需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 我测试了两个模型。以及DF
Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已? Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗? 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ? 三者有什么产品硬件上的差异区别
果然做LLM还是要去企业做,学校还是太穷了,五一期间趁大家下班卡多,跑两篇neurips 11 个帖子 - 5 位参与者 阅读完整话题
Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已? Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗? 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ? 三者有什么产品硬件上的差异区别
Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已? Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗? 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ? 三者有什么产品硬件上的差异区别
Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已? Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗? 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ? 三者有什么产品硬件上的差异区别
有没有,前辈告诉我 Gemini claude gpt会选择哪一个。 2 个帖子 - 2 位参与者 阅读完整话题
https://tps.bunai.cc/ranking?gpu=apple_m5_32g&ic=nvlink5
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod
国内有合规 API 聚合站吗,哪怕只能调国产模型也行。总不能在生产产品上用中转站吧?
国内有合规 API 聚合站吗,哪怕只能调国产模型也行。总不能在生产产品上用中转站吧?
之前试过CLIProxyAPI 接入某云平台glm5给codex用。今天没事看了看litellm,发现v1.83.14支持了,就测试了下。除了remote compact有问题,其他的使用还算正常。 # litellm_config.yaml model_list: - mode
把各种学习资料( PDF 、文档、YouTube 视频、播客、网页文章)转换成结构化的学习素材,适合自用和小范围分享, 技术栈主要是.NET 和 React 。 功能: 1.支持多种内容导入:PDF 、DOCX 上传,YouTube 视频(新增字幕获取功能)、网页文章、音频文件、
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺
MIT Technology Review This startup’s new mechanistic interpretability tool lets you debug LLMs Goodfire wants to make training AI models mor
越来越少的human in the loop 越来越弱的human gateway 功能 口齿渐渐地不清,吞噬了过多llm的语料 甚至质量参差不齐,就像重蹈自己生成自己学的灾难性结果( ) 更别提伤害身体导致的计算能力下降说是 1 个帖子 - 1 位参与者 阅读完整话题
前阵子 Karpathy 写了一篇 关于 LLM Wiki 的文章 ,当时看了感觉挺有启发。 不过 AI 领域真实一天一个样子,变化太大了……可能有人没看到就被埋了,我再简单整理一下。 它讲的不是传统 RAG 那种“上传一堆文档,然后每次提问时临时检索几段内容”的方式。 他的核心