[Local LLM] 能一起给本地部署的开源模型做个适配的 coding agent 吗?我憋了口气
我做了一个专门为本地开源模型优化的 Coding Agent ,希望更多华人开发者一起来搞 本贴发布的目的不是推产品,不是炫技,而是想扬眉吐气——和华人开发者一起,和开源模型本地部署开发者一起,做一件我们自己的事。 一、我遇到了什么问题 去年开始用本地模型做编程辅助。原因很简单:
loc - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第11页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 317 篇相关文章 · 第 11 / 16 页
我做了一个专门为本地开源模型优化的 Coding Agent ,希望更多华人开发者一起来搞 本贴发布的目的不是推产品,不是炫技,而是想扬眉吐气——和华人开发者一起,和开源模型本地部署开发者一起,做一件我们自己的事。 一、我遇到了什么问题 去年开始用本地模型做编程辅助。原因很简单:
我做了一个专门为本地开源模型优化的 Coding Agent ,希望更多华人开发者一起来搞 本贴发布的目的不是推产品,不是炫技,而是想扬眉吐气——和华人开发者一起,和开源模型本地部署开发者一起,做一件我们自己的事。 一、我遇到了什么问题 去年开始用本地模型做编程辅助。原因很简单:
我做了一个专门为本地开源模型优化的 Coding Agent ,希望更多华人开发者一起来搞 本贴发布的目的不是推产品,不是炫技,而是想扬眉吐气——和华人开发者一起,和开源模型本地部署开发者一起,做一件我们自己的事。 一、我遇到了什么问题 去年开始用本地模型做编程辅助。原因很简单:
最近自己也在找工作,发现一个很具体的问题:岗位来源、JD 、简历修改点、AI 对话、面试复盘经常散在浏览器标签页、文档、聊天记录和备忘录里。看起来都有记录,但真正要推进某个机会时,还是得重新翻一遍。 所以做了一个小工具:Job Kanban Live Demo: https://
https://github.com/antirez/llama.cpp-deepseek-v4-flash
bing搜索首页现在全是广告(这还是我开了ublock origin的情况下) 本来就是看不下去百度的搜索页才换成bing的,这样下去真的就只能换成Google了吗 或者佬友们有别的搜索引擎或者去广告脚本推荐吗 14 个帖子 - 8 位参与者 阅读完整话题
同志们,是时候打造一把真正属于开源社区的 Coding Agent 了! 现状:我们被大厂“喂屎”,还要自己擦屁股 我写过 kaiwu (一个本地模型部署器),结果发现—— 用 Local LLM 做开发的朋友,多得超出想象 。 大家不断提需求:上下文压缩、Think 模式开关、
同志们,是时候打造一把真正属于开源社区的 Coding Agent 了! 现状:我们被大厂“喂屎”,还要自己擦屁股 我写过 kaiwu (一个本地模型部署器),结果发现—— 用 Local LLM 做开发的朋友,多得超出想象 。 大家不断提需求:上下文压缩、Think 模式开关、
同志们,是时候打造一把真正属于开源社区的 Coding Agent 了! 现状:我们被大厂“喂屎”,还要自己擦屁股 我写过 kaiwu (一个本地模型部署器),结果发现—— 用 Local LLM 做开发的朋友,多得超出想象 。 大家不断提需求:上下文压缩、Think 模式开关、
Google DeepMind – 23 Apr 26 Decoupled DiLoCo: Resilient, Distributed AI Training at Scale Google’s new distributed architecture keeps AI tra
TPS Calculator · GPU 推理速度计算器 买不起机子,所以做了这个。 在线地址: tps.bunai.cc 突发奇想赶紧记录下来,直接 vibe code ,说敲就写 一个 vibe code 出来的 GPU 推理性能估算工具。 起因很简单——显卡太贵,买不起,想
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s. 准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.