我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s,记录一下技术发现
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近 - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 第71页 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。
共 2869 篇相关文章 · 第 71 / 144 页
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在折腾本地大模型,发现一个核心问题:Ollama 和 LM Studio 能让模型跑起来,但参数全靠猜——上下文长度、KV cache 类型、MoE expert 放哪、ubatch 多大……用默认参数基本是在浪费显卡。 于是做了个工具自动找最优配置,过程中踩了不少坑,记录一
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
用 DeepSeek V4pro 开发一天了,分享一下感受。 最近官方在优惠,感觉应该是为了收集用户反馈信息 本人从事安全相关行业,所以感受可能与其他人不一样,仅供参考。 道德限制:极其低,甚至没有,这个我太爱了,让他干啥他就干啥。 后端能力:感觉不是很耐打?GLM 5.1 基本
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的
最近看到 Bright Data 有一个代理和 Browser API 的优惠,分享给有需要的人。 如果你在做公开网页数据采集、市场研究、SEO 监控、价格追踪,或者需要比较稳定的代理 / 浏览器自动化基础设施,可以看一下这个活动。 优惠码: BESTPROXY60 使用方式:
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
如图,最近在用hermes搭配opencode go订阅的k2.6帮我写文档,但是今天不知道怎么就提示rate limit error了,但是我看订阅界面显示还有额度的 我记得现在opencode go的k2.6应该也是3x额度,有佬友知道这是为什么吗 4 个帖子 - 4 位参与
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
佬友们,请问有没有最近可以使用的claude破限提示词或者可用的方法呀?求介绍,最近想做点小项目,发现claude总是拒绝回答,当然比codex好一点。也试了咱们论坛上的一些方法或提示词,但是感觉效果不太好,不太能满足咱的要求,求万能的佬友们介绍介绍,指条路,感谢感谢! 7 个帖
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近在开发一个小项目,想买几个 ChatGPT 账号。 但是在多个卡网和电报群里转了几圈,发现同一种类型的账号,比如 ChatGPT plus 月卡,就有 N 多种价格。 有的几块钱,有的卖 15 ,有的卖 30 ,有的卖 40. 后来我才知道,这些店铺和卖家的来源其实就是那么几
最近 gpt plus 会员到期了, gpt 完全变成了弱智, 免费版 gpt 感觉不如豆包 当我发一段文字, 最后加一句提示词 "帮我总结这段话 用中文回答", 回答也是英文的