Tokenizer - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn

Tokenizer - 钛刻 - 科技风向旗 - 深度刻画技术趋势,引领数字未来 - 钛刻科技 | TCTI.cn - 钛刻 (TCTI.cn) 为您提供最前沿的硬核科技资讯、深度评测和未来技术趋势分析。

共 5 篇相关文章

基于DS4proTokenizer和GLM5.1Tokenizer的单次性能测试

3月入了L站后接触到了codex后,觉得以前使用古法chat模式做开发真的是太惨了,同时内心中压抑的很久的想法终于压制不住了,于是在4月19,创建了一个llm工程。工程的作用是什么呢,对,就是妄图在gpt的帮助下手搓一个llm。因为当时最强的开源国模,就是glm5.1,而且还是m

tech linux.do 2026-05-01 13:31:33+08:00

【存疑】GPT 5.5 有新的tokenizer?!?!给主人留下些什么吧

!!!! 新的tokenizer????! 不是image 2生成的 ChatGPT - Translate “感谢楼” 谁还有脏token,一瞬间找不到列表了hhh 10 个帖子 - 9 位参与者 阅读完整话题

tech linux.do 2026-04-23 17:05:54+08:00

我哭了,刚刚这么多模型泄露的时候忘记测试有没有新的tokenizer了,有佬刚刚测试了吗?

我哭了,刚刚这么多模型泄露的时候忘记测试有没有新的tokenizer了,有佬刚刚测试了吗? 3 个帖子 - 2 位参与者 阅读完整话题

tech linux.do 2026-04-22 12:09:58+08:00

claude opus 4.7 token提高的倍率 1.35并不是硬上限

Claude Code Camp I Measured Claude 4.7's New Tokenizer. Here's What It Costs You. The docs said 1.0–1.35x more tokens. On real con

tech linux.do 2026-04-19 16:05:48+08:00

GPT 5.5 会有新的 tokenizer 吗?目前没看到一点风声😢

GPT 5.5 会有新的 tokenizer 吗?目前没看到一点风声 佬们觉得会有吗? 会 不会 点击以查看投票。 3 个帖子 - 2 位参与者 阅读完整话题

tech linux.do 2026-04-19 00:16:27+08:00