llm - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第9页 - 钛刻科技 | TCTI.cn

llm - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第9页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 223 篇相关文章 · 第 9 / 12 页

到底怎么才能降低Qwen3.5-35B-A3B的think啊

大佬们 最近用最新的gpustack2.1.2版本 搭配8个L40装了Qwen3.5-35B-A3B的vllm模型。 官方文档说可以靠thinking_budget参数来调节思考的长度,但是根本不好使啊.. system角色写提示词要求它精简思考过程也不行。。。。 没招了.. 1

tech linux.do 2026-04-24 12:47:47+08:00

DeepseekV4Pro的私有Coding测试集评测结果

来自知乎toyama佬 网站: LLM Benchmark Dashboard 附:其他未测完的国模 1 个帖子 - 1 位参与者 阅读完整话题

tech linux.do 2026-04-24 11:52:40+08:00

感觉你站应该是各家LLM训练时候的优质语料

especially国模,也算是对提高国模水平的一种帮助了(? 10 个帖子 - 9 位参与者 阅读完整话题

tech linux.do 2026-04-24 04:18:22+08:00

[Qwen3.6]27B-FP8 VLLM本地部署主观个人测评

硬件配置 组件 规格 CPU Intel i5-13600K GPU RTX 4090 48G + RTX 4070Ti 12G 内存 DDR4-3600 128G (4x32G) 主板 华硕 Z690-P D4 系统 Windows 11 LTSC WSL Ubuntu 22.

tech linux.do 2026-04-24 00:28:36+08:00

Clipal 本地LLM网关更新,支持codex、Claude code、Gemini 授权登录,可以当中转商一样用了

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺

tech linux.do 2026-04-23 18:20:12+08:00

LiteLLM这个AI中转网关有人用过吗?

和NewAPI、Sub2API有什么不同的地方吗 5 个帖子 - 5 位参与者 阅读完整话题

tech linux.do 2026-04-23 17:33:35+08:00

有什么适合用来文生图和改图的本地LLM聊天客户端吗?

这不是各种中转站开始陆续上gpt-image-2了嘛,最近想玩玩文生图了,然后我就又要面对本地LLM客户端的一堆问题了。 CherryStudio我早就不用了,臃肿到离谱,但是你别说,它的文生图功能确实强大,不是说多好用,而是至少能用; Kelivo的UI太…朴素了,我感觉作者今

tech linux.do 2026-04-22 20:16:51+08:00

[Local LLM] 用 DGX Spark 做这些事情,是否能力合适/足够,有佬能解答吗?(估算也行)

这东西我都没见过实物,在 USA 的同学有一台,但是他上线后应用的事情都快拉爆了,暂时没空测我的想法,只能想象着来问一下这里各位佬了: C++,Python 的代码 review; 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多

tech v2ex.com 2026-04-22 19:28:26+08:00

[Local LLM] 用 DGX Spark 做这些事情,是否能力合适/足够,有佬能解答吗?(估算也行)

这东西我都没见过实物,在 USA 的同学有一台,但是他上线后应用的事情都快拉爆了,暂时没空测我的想法,只能想象着来问一下这里各位佬了: C++,Python 的代码 review; 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多

tech v2ex.com 2026-04-22 19:28:26+08:00

我也分享一下kimi-k2.6,glm-5.1,gpt-5.4和sonnet-4-6的python小项目对比

昨天看了 @smallmain 佬的k2.6真实项目评测,发现语言选择可能会造成结果不太一样,正好最近要开一个新项目,想着用不同模型来初始化一下对比看看。 我在的公司是个极其小众行业的公司,北美个位数的同行,全球不超20家同行,技术栈很杂乱,上古项目有delphi,foxpro,

tech linux.do 2026-04-22 18:45:57+08:00

记录一下使用AutoDL的claude4.7模型代理到cursor

充了十块,在sub2中转了模型,然后使用LiteLLM把模型代理给cursor,用的是claude4.7-cc,也就是标注的3.5折扣的,使用下来发现一个问题,收费还是非常贵,73Token用了0.28,感觉国内的代理收费比官方的还是贵不少 1 个帖子 - 1 位参与者 阅读完整

tech linux.do 2026-04-22 12:02:14+08:00

[分享创造] 一个自动化工具,操作浏览器,常用功能支持 hub, LLM 友好

是什么:openwalk 是一个对 LLM 友好的 cli RPA 工具,目前支持 chrome + cdp , 后期会引入操作桌面应用的功能。 如何使用: 示例 openwalk exec hello-wrod openwalk exec v2ex-hot 特性: 内置操作浏览

tech v2ex.com 2026-04-22 09:23:28+08:00

Rust Token Killer 还行?

今天看到一个小工具 rtk: GitHub - rtk-ai/rtk: CLI proxy that reduces LLM token consumption by 60-90% on common dev commands. Single Rust binary, zero

tech linux.do 2026-04-21 22:48:25+08:00

[Local LLM] 多台 GPU 之间怎么组网互联?

比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习

tech v2ex.com 2026-04-21 22:39:31+08:00

[Local LLM] 多台 GPU 之间怎么组网互联?

比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习

tech v2ex.com 2026-04-21 22:09:53+08:00

[Local LLM] 多台 GPU 之间怎么组网互联?

比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习

tech v2ex.com 2026-04-21 19:59:13+08:00

[Local LLM] 多台 GPU 之间怎么组网互联?

比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习

tech v2ex.com 2026-04-21 19:45:06+08:00

[Local LLM] 多台 GPU 之间怎么组网互联?

比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习

tech v2ex.com 2026-04-21 19:30:33+08:00

[Local LLM] 多台 GPU 之间怎么组网互联?

比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习

tech v2ex.com 2026-04-21 19:06:54+08:00

[Local LLM] 多台 GPU 之间怎么组网互联?

比如要部署 deepseek 满血版,总不能用一台跑对吧,那比如有三台 SXM 版的 8 卡 A100 的 GPU 服务器 好奇问一下,想学习学习

tech v2ex.com 2026-04-21 19:04:12+08:00