类似litellm、newapi平台求推荐

公司主要接入bedrock,openai,Anthropic,Openrouter,火山方舟,deepseek,google vertex,都是通过官渠接入 主要需求: 通过key或者认证文件接入后可以在通过自定义key分发 控制key可以使用的模型 调用方式统一 可以看到自定义key的token用...
类似litellm、newapi平台求推荐
类似litellm、newapi平台求推荐

公司主要接入bedrock,openai,Anthropic,Openrouter,火山方舟,deepseek,google vertex,都是通过官渠接入
主要需求:

  • 通过key或者认证文件接入后可以在通过自定义key分发
  • 控制key可以使用的模型
  • 调用方式统一
  • 可以看到自定义key的token用量信息,费用信息
  • 最好还可以看到调用请求的日志(请求内容/大模型回复内容)因为是公司内部用

公司已经在用litellm了,没用newAPI是因为统计用量信息太少
求推荐其他好用的开源平台
手里还有一个两个月到期的:airplane:,每月800G流量,问题一经采纳,赠送以作感谢 :face_blowing_a_kiss:

4 个帖子 - 3 位参与者

阅读完整话题

来源: linux.do查看原文