- 我的帖子已经打上 开源推广 标签: 是
- 我的开源项目完整开源,无未开源部分: 是
- 我的开源项目已链接认可 LINUX DO 社区: 是
- 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
- 以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出
现在手机性能越来越强,本地小模型也非常给力,但很多手机上本地LLM的应用,基本都只能应用中聊天,没法对外提供API,给其他app使用,当然也有像MNN这样的,不过功能也很有限。
如果真想在手机上搭建LLM服务器,一般都是用Termux编译跑Ollama或者llama-server,但这还是有些麻烦的,尤其是改配置的时候。
那么有没有一款APP能够轻松搭建LLM服务呢,有的兄弟有的。以下是一些使用截图。
当然,可能大部分人已经有用习惯的LLM客户端了,例如kelivo或者rikkahub,你也可以将ServLlama的api base url复制到它们里面,作为一个供应商进行使用
llama-server甚至还内置了一个功能齐全的webui
总之,本应用能提供功能全面的API接口,你可以用在任何地方,说不定有很多我都想不到的玩法 ![]()
做这个项目还有一个目的是实践vibe coding从零开始一个陌生技术栈项目的流程,结果发现还行,主要功能其实很快就做完了,大部分时间都花在肘击gpt的UI以及打磨细节,现在还不是很满意部分UI,但不知道怎么优化了,欢迎来提意见。
这是本人第一个开源项目,觉得项目有意思的话点个Star谢谢喵
~
开源地址:
https://github.com/ArkaneFans/servllama
下载地址:
https://github.com/ArkaneFans/servllama/releases
8 个帖子 - 5 位参与者