需要一个可信的 LLM 网关 ，在每个中转站返回结果后，立即调用便宜的像 DeepSeek API 做 LLM-as-a-Judge。
搜了下grok，貌似目前没有一个完全现成的 “Octopus + DeepSeek 输出审计” 开源项目。
当前最现实的路径优先级（考虑你对 LiteLLM 投毒事件的顾虑）：
- Portkey AI Gateway —— Guardrails 功能最成熟，支持自定义 LLM Judge，最接近开箱即用。
- 极简自建 FastAPI 薄代理（推荐给你，目前最可控、攻击面最小）—— 只做路由 + DeepSeek 输出审计，代码量很少。
- 在现有 Octopus（Go）上加 middleware —— 调用 DeepSeek Judge。
- LiteLLM 最新版（1.85+）+ 严格 Docker + 签名验证 + 自定义 post-call guardrail（如果你愿意接受额外安全措施）。
1 个帖子 - 1 位参与者
来源: LinuxDo 最新话题查看原文