[开源]ServLlama,一键让你的手机变成LLM服务器,无需Termux!功能强大堪比Ollama

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺是永久有效的,接受社...
[开源]ServLlama,一键让你的手机变成LLM服务器,无需Termux!功能强大堪比Ollama
[开源]ServLlama,一键让你的手机变成LLM服务器,无需Termux!功能强大堪比Ollama
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
  • 我的帖子已经打上 开源推广 标签:
  • 我的开源项目完整开源,无未开源部分:
  • 我的开源项目已链接认可 LINUX DO 社区:
  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:
  • 以上选择我承诺是永久有效的,接受社区和佬友监督:

以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


现在手机性能越来越强,本地小模型也非常给力,但很多手机上本地LLM的应用,基本都只能应用中聊天,没法对外提供API,给其他app使用,当然也有像MNN这样的,不过功能也很有限。

如果真想在手机上搭建LLM服务器,一般都是用Termux编译跑Ollama或者llama-server,但这还是有些麻烦的,尤其是改配置的时候。

那么有没有一款APP能够轻松搭建LLM服务呢,有的兄弟有的。以下是一些使用截图。

当然,可能大部分人已经有用习惯的LLM客户端了,例如kelivo或者rikkahub,你也可以将ServLlama的api base url复制到它们里面,作为一个供应商进行使用

llama-server甚至还内置了一个功能齐全的webui

s9

总之,本应用能提供功能全面的API接口,你可以用在任何地方,说不定有很多我都想不到的玩法 :laughing:

做这个项目还有一个目的是实践vibe coding从零开始一个陌生技术栈项目的流程,结果发现还行,主要功能其实很快就做完了,大部分时间都花在肘击gpt的UI以及打磨细节,现在还不是很满意部分UI,但不知道怎么优化了,欢迎来提意见。

这是本人第一个开源项目,觉得项目有意思的话点个Star谢谢喵 :smiling_face_with_three_hearts:~

开源地址:
https://github.com/ArkaneFans/servllama

下载地址:
https://github.com/ArkaneFans/servllama/releases

8 个帖子 - 5 位参与者

阅读完整话题

来源: linux.do查看原文