llm - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn

llm - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 215 篇相关文章 · 第 1 / 11 页

[Qwen3.6]27B-FP8 SGLang本地部署-venv dev经验分享。

上集回顾 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 环境: WLS2 Ubuntu22.04 硬件: 4090 48G SGLang太佛系了,快一个月了还不更新正式版,需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 我测试了两个模型。以及DF

tech linux.do 2026-05-04 10:21:26+08:00

[Local LLM] DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗?

Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已? Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗? 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ? 三者有什么产品硬件上的差异区别

tech v2ex.com 2026-05-04 05:00:14+08:00

百卡H100,大模型算法实习好爽..

果然做LLM还是要去企业做,学校还是太穷了,五一期间趁大家下班卡多,跑两篇neurips 11 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-05-04 03:28:38+08:00

[Local LLM] DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗?

Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已? Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗? 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ? 三者有什么产品硬件上的差异区别

tech v2ex.com 2026-05-04 03:00:14+08:00

[Local LLM] DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗?

Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已? Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗? 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ? 三者有什么产品硬件上的差异区别

tech v2ex.com 2026-05-03 23:25:25+08:00

[Local LLM] DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗?

Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已? Spark 自带开箱即用的工具集,会有老黄家在 Spark 上才能用的工具吗? 用线对联 Spark 也能和另外两个机型,扩展使用 LLM ? 三者有什么产品硬件上的差异区别

tech v2ex.com 2026-05-03 23:13:04+08:00

scala编程大家会选择用哪一个llm

有没有,前辈告诉我 Gemini claude gpt会选择哪一个。 2 个帖子 - 2 位参与者 阅读完整话题

tech linux.do 2026-05-03 17:56:29+08:00

[Local LLM] 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上

https://tps.bunai.cc/ranking?gpu=apple_m5_32g&ic=nvlink5

tech v2ex.com 2026-05-03 06:01:03+08:00

[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech v2ex.com 2026-05-03 03:06:17+08:00

[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech v2ex.com 2026-05-03 00:47:58+08:00

[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech v2ex.com 2026-05-02 22:14:54+08:00

[Local LLM] github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps

https://github.com/Luce-Org/lucebox-hub DFlash DDtree Qwen3.5 & Qwen3.6 27B GGUF on RTX 3090 First GGUF port of DFlash speculative decod

tech v2ex.com 2026-05-02 21:05:12+08:00

[问与答] LLM 产品,海外版用 OpenRouter 国内版用什么?

国内有合规 API 聚合站吗,哪怕只能调国产模型也行。总不能在生产产品上用中转站吧?

tech v2ex.com 2026-05-02 16:40:28+08:00

[问与答] LLM 产品,海外版用 OpenRouter 国内版用什么?

国内有合规 API 聚合站吗,哪怕只能调国产模型也行。总不能在生产产品上用中转站吧?

tech v2ex.com 2026-05-02 15:40:28+08:00

litellm 支持responses api请求转换至后端 /chat/completions

之前试过CLIProxyAPI 接入某云平台glm5给codex用。今天没事看了看litellm,发现v1.83.14支持了,就测试了下。除了remote compact有问题,其他的使用还算正常。 # litellm_config.yaml model_list: - mode

tech linux.do 2026-05-02 12:53:48+08:00

[分享创造] 搭建了一个 AI 学习平台,支持多 LLM 提供商和多格式内容解析

把各种学习资料( PDF 、文档、YouTube 视频、播客、网页文章)转换成结构化的学习素材,适合自用和小范围分享, 技术栈主要是.NET 和 React 。 功能: 1.支持多种内容导入:PDF 、DOCX 上传,YouTube 视频(新增字幕获取功能)、网页文章、音频文件、

tech v2ex.com 2026-05-02 08:43:33+08:00

[开源]ServLlama,一键让你的手机变成LLM服务器,无需Termux!功能强大堪比Ollama

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺

tech linux.do 2026-05-01 17:15:02+08:00

旧金山初创公司 Goodfire 和他们用于调试 LLM的 Silico 工具

MIT Technology Review This startup’s new mechanistic interpretability tool lets you debug LLMs Goodfire wants to make training AI models mor

tech linux.do 2026-05-01 16:52:36+08:00

like father like son,人类是不是要退化成早期llm了

越来越少的human in the loop 越来越弱的human gateway 功能 口齿渐渐地不清,吞噬了过多llm的语料 甚至质量参差不齐,就像重蹈自己生成自己学的灾难性结果( ) 更别提伤害身体导致的计算能力下降说是 1 个帖子 - 1 位参与者 阅读完整话题

tech linux.do 2026-05-01 16:06:42+08:00

[分享创造] 上线了一个 LLM wiki 网站,基于 Karpathy 的理念,让 AI 帮你维护私人知识库

前阵子 Karpathy 写了一篇 关于 LLM Wiki 的文章 ,当时看了感觉挺有启发。 不过 AI 领域真实一天一个样子,变化太大了……可能有人没看到就被埋了,我再简单整理一下。 它讲的不是传统 RAG 那种“上传一堆文档,然后每次提问时临时检索几段内容”的方式。 他的核心

tech v2ex.com 2026-05-01 14:53:49+08:00