公司主要接入bedrock,openai,Anthropic,Openrouter,火山方舟,deepseek,google vertex,都是通过官渠接入
主要需求:
- 通过key或者认证文件接入后可以在通过自定义key分发
- 控制key可以使用的模型
- 调用方式统一
- 可以看到自定义key的token用量信息,费用信息
- 最好还可以看到调用请求的日志(请求内容/大模型回复内容)因为是公司内部用
公司已经在用litellm了,没用newAPI是因为统计用量信息太少
求推荐其他好用的开源平台
手里还有一个两个月到期的
,每月800G流量,问题一经采纳,赠送以作感谢 ![]()
4 个帖子 - 3 位参与者