高性能优调度的CLI反代,支持Antigravity,Gemini CLI,Codex

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺是永久有效的,接受社...
高性能优调度的CLI反代,支持Antigravity,Gemini CLI,Codex
高性能调度的CLI反代,支持Antigravity,Gemini CLI,Codex
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
  • 我的帖子已经打上 开源推广 标签:
  • 我的开源项目完整开源,无未开源部分:
  • 我的开源项目已链接认可 LINUX DO 社区:
  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:
  • 以上选择我承诺是永久有效的,接受社区和佬友监督:

以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出

前情提要

由于CLIProxyAPI多凭据情况下性能很糟,sub2api bug又太多~~(也不太好用,不是)~~

我觉得反代就应该是纯粹的反代,不应该乱七八糟的,所以写了这么一个东西

项目地址

nekohy/meowcli

测试情况

内部已测试2个月,测试环境 arm64 甲骨文

目前凭据300+(codex 11,gemini-cli 100,antigravity 90),15min定时同步Quota,内存占用40mb
压测1w条日志 rpm50的情况下内存大概100-200mb,截图找不着了

image
image

其实可以更低的,不过使用了sonic和自己写的atomic缓存层减少数据库读写,内存和速度总要选一个

数据库pgsql/sqlite均可,均使用的sqlc生成代码

json修改使用sonic.ast搓的,基本上现在性能压到极致了,如果哪里有问题欢迎给我说

还有什么

  • 基于每模型的评分系统

目前使用 5h和7d额度,滑动窗口内错误率进行评分,在高评分列表内加权抽取N个凭据

image

定时拉取Quota,且可自定义评分刷新时间,当错误时会自动进行插队拉取Quota,且Codex为基于响应Header的实时更新

image

  • 独特的插件系统

可以很方便的根据文档快速写出自己想对请求体的修改,且几乎没有性能问题

image

  • 快速自定义映射模型列表

image
image

  • 每个模型的可用套餐选择

    image

  • 可用套餐的优先顺序选择

image

  • 开发者友好的接口设计,可以快速接入其他反代

image

  • 日志系统

    image

  • 重启秒恢复状态,好看的md3 ui(稍微做了下移动端适配(这个就不用截图了吧)

    image

2 个帖子 - 2 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文