目前打算开一个AI/LLM-Gateways基础设施PaaS 问下佬们的意见

平台基本上是全部开源的喵 然后也没什么特别大的门槛喵 well其实主要是基于aws构建的喵 计算能力是ECS-Fargate(50%=Spot) 然后DB是DSQL 有缓存和Provider粘性 支持单模型多Provider+Margin均价(List-price) 边缘网络加速有AWS-Cloud...
目前打算开一个AI/LLM-Gateways基础设施PaaS 问下佬们的意见
目前打算开一个AI/LLM-Gateways基础设施PaaS 问下佬们的意见

平台基本上是全部开源的喵 然后也没什么特别大的门槛喵

well其实主要是基于aws构建的喵 计算能力是ECS-Fargate(50%=Spot) 然后DB是DSQL 有缓存和Provider粘性 支持单模型多Provider+Margin均价(List-price) 边缘网络加速有AWS-Cloudfront@Edge+ShieldAdvanced 国内有EdgeOne线路直接进aws-vpc->eu-central-1(fra)喵 然后支付处理是Payoneer+Paddle(MoR)喵

前端是Next.js+React+FluentUI自建的喵 使用AWS-Cognito作为登录系统喵(但是LinuxDO登录太难搞了 我还在尝试加LinuxDO登录喵) 不是NewAPI 自定义能力有但是不高 支持邀请码制喵

目前嘛还没上线 主要是征求一下各位佬的意见 比如说需要什么功能 以及这个平台该不该开喵

毕竟我目前也在建一些特殊的甜点位调价渠道喵 比如说AzureFoundry+OR+Zen+Kilo+TRAE(2.solo)+GitHub-Copilot+1min.AI+AWS-Bedrock+ish(2)+Pollinations.ai+MegaLLM这一整套通过按比例Margin调配实现的喵 虽然还是有2API成分 但是主要渠道较为便宜且这几个2API质量还是比较好的喵 而且Uptime也还行 但反正我不是来卖API的这个我就不提了喵(别来问我要 我绝对不塞小卡片的 我有些时候自己用的 后期成熟了可能开公益/富可敌国喵

其实这个平台主要也是要看有没有需求喵 比如说有人想开站那我们就提供代理池+k8s边车池+前后端全套基础设施喵 渠道那自己用k8s边车服务建对吧喵 然后前后端+Infra就不需要操心了喵 包括代理池之类的喵w 相当于中转界Shopify喵

目前还在写代码 等会就push到github上喵ww


该建站吗喵

  • 该建
  • 不该建

点击以查看投票。


注:目前还没建站 应该不涉及到塞小卡片和推广吧喵…? 要有问题直接私信我我去删改喵ww

2 个帖子 - 2 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文