原谅我这个标题感觉有点骗人进来的感觉但是真做到了
某天写代码的时候我突然灵光一现，Apple Watch 可以跑 C/C++，llama.cpp 就是 C++写的，那么能不能让 Apple Watch 跑 llama.cpp 呢？
然后我花了几天努力把 llama.cpp 通过伞头文件桥接进了支持 Apple Watch 的 Swift 程序
我刚才把 Qwen3.5-0.8B-Q4_K_M.gguf 塞进了我的 Apple Watch S8 里面
能跑哦齁齁齁齁哦齁齁齁齁❤️❤️❤️❤️！！
这颗 t8301 挺耐操的，虽然速度有点感人，才 0.27token/s ，纯 CPU 算的，峰值能力应该有 iPhone6s 的八成水平
但是如果真上最新的 iPhone 的话估计可以跑到上百 token/s ，毕竟有 Metal
不要问有啥意义，之前给 iPhone 刷 MIUI 没意义不也有人干了嘛 hhhhh
我还想发 B 站或者油管，但是这个速度，怎么好让人家一眼看到功能呢哈哈哈 (遥想当年，iPhone 开机出现的那个 MI 图标)
iOS 和 watchOS 都可以用，GitHub 仓库是 https://github.com/Eric-Terminal/ETOS-LLM-Studio
来源: V2EX - 技术查看原文