关于在1/8c1g小鸡上2api容易卡死的解决办法

事情起因是,在甲骨文大善人那里领了两台amd小鸡没处用,我就拿来做codex2api了 配置 (点击了解更多详细信息) 自此开始了我的噩梦,经常出现cpu明明是空载但系统反应极慢,后续用 sar 和 pidstat 查到是io风暴的问题 命令及输出 (点击了解更多详细信息) 可以看到读盘直接打满了我...
关于在1/8c1g小鸡上2api容易卡死的解决办法
关于在1/8c1g小鸡上2api容易卡死的解决办法

事情起因是,在甲骨文大善人那里领了两台amd小鸡没处用,我就拿来做codex2api了

配置 (点击了解更多详细信息)

自此开始了我的噩梦,经常出现cpu明明是空载但系统反应极慢,后续用sarpidstat查到是io风暴的问题

命令及输出 (点击了解更多详细信息)

可以看到读盘直接打满了我的小鸡限制。

于是我怀疑是2api服务的问题,一路从cpa换codex2api换sub2api,但一直都还是有这个问题,甚至我拿两台小鸡做负载均衡也不行。

api并发也低的离谱,rpm从未超过5,而且这个问题从来不随api并发数出现。

而我又不甘心把2api转到arm小鸡上,死磕了好几天。

直到我今天写另一个服务调用了docker exec pg_isready也出现了io风暴,而且可以稳定复现。

众所周知,当一个问题可以稳定复现时,他就不再是问题了:

image
image

遂加了1g zram和2g swap,终于解决这一心头大患。

再让AI帮我做了个复现

image

另外,helper是我针对sub2api的at总是掉写的一个小工具,已经开源,做了个st2at。写死了很多个性化设置,放在这里主要是给大家一个思路,不建议直接使用。

另外,虽然本帖子目的不是推广,但还是写个声明:

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
  • 我的帖子已经打上 开源推广 标签:
  • 我的开源项目完整开源,无未开源部分:
  • 我的开源项目已链接认可 LINUX DO 社区:
  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:
  • 以上选择我承诺是永久有效的,接受社区和佬友监督:

1 个帖子 - 1 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文