[Local LLM] 有没有简单版的 new-api 项目
个人使用 new-api 配置项太多了,看的我头疼。 有没有简单版本的
llm - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第11页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 227 篇相关文章 · 第 11 / 12 页
个人使用 new-api 配置项太多了,看的我头疼。 有没有简单版本的
公司做的是美团业务,需要定期解析一批美团的订单截图(也有一些是手机相机拍的订单页面图片),提取出其中的订单号码。 我试用了下腾讯的 ocr 识别成功率很高,就是太贵了,图片量很大遭不住。哪位老哥研究过 OCR ,能不能推荐一个适合本地部署的,公司有 5060 显卡。
比如看 dgx spark 这台机子,部署 31B BF16 gemma 这台机子的带宽 273 GB/s 31B 参数 × 2 bytes (BF16) ÷ 273 GB/s = 每个 token 227 ms = 理论最大 4.4 token/s 实际能到 3token/s
公司做的是美团业务,需要定期解析一批美团的订单截图(也有一些是手机相机拍的订单页面图片),提取出其中的订单号码。 我试用了下腾讯的 ocr 识别成功率很高,就是太贵了,图片量很大遭不住。哪位老哥研究过 OCR ,能不能推荐一个适合本地部署的,公司有 5060 显卡。
公司做的是美团业务,需要定期解析一批美团的订单截图(也有一些是手机相机拍的订单页面图片),提取出其中的订单号码。 我试用了下腾讯的 ocr 识别成功率很高,就是太贵了,图片量很大遭不住。哪位老哥研究过 OCR ,能不能推荐一个适合本地部署的,公司有 5060 显卡。
公司做的是美团业务,需要定期解析一批美团的订单截图(也有一些是手机相机拍的订单页面图片),提取出其中的订单号码。 我试用了下腾讯的 ocr 识别成功率很高,就是太贵了,图片量很大遭不住。哪位老哥研究过 OCR ,能不能推荐一个适合本地部署的,公司有 5060 显卡。
公司做的是美团业务,需要定期解析一批美团的订单截图(也有一些是手机相机拍的订单页面图片),提取出其中的订单号码。 我试用了下腾讯的 ocr 识别成功率很高,就是太贵了,图片量很大遭不住。哪位老哥研究过 OCR ,能不能推荐一个适合本地部署的,公司有 5060 显卡。
公司做的是美团业务,需要定期解析一批美团的订单截图(也有一些是手机相机拍的订单页面图片),提取出其中的订单号码。 我试用了下腾讯的 ocr 识别成功率很高,就是太贵了,图片量很大遭不住。哪位老哥研究过 OCR ,能不能推荐一个适合本地部署的,公司有 5060 显卡。
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
大家好,我是帅进超,曾参与并主导过 Apache APISIX 、CNCF APIOAK 、Orange 等 API 网关的开发。最近我在做一个新项目 — Nyro ,一个专为 Agent 设计的原生 AI 网关。 一、AI Coding Agent 的现状 OpenAI 、An
如题,每次优化一手,然后先等agent跑个20-1小时,看看结果,然后花10分钟优化一下,然后再跑,折磨。各位有没有什么好法子吗? 5 个帖子 - 4 位参与者 阅读完整话题
GLM 5.1 根本抢不到,这里有一个渠道是量化的,但是我不知道量化精度带来的影响。 求解答,谢谢! 2 个帖子 - 2 位参与者 阅读完整话题
在 mac studio 、395 Max 和 DGX Spark 这几种设备考虑 本地部署的 coding 能力和效果,能接近 gpt-5.3-codex 吗? 如果本地部署的 coding 能力可以,我感觉可以让牛逼的模型 API 来创建分解任务,然后让本地执行。