ttok 1.0发布，默认切换至GPT-5/6分词器

Simon Willison 发布了 ttok 1.0 版本，将默认 tokenizer 从 GPT-4 正式切换为 GPT-5/GPT-6。尽管 OpenAI 官方尚未明确确认 GPT-6 与 GPT-5 家族是否共用同一套 tokenizer，但开发者 William Liu 的实验数据提供了有力支持。他在测试中选取了七款不同的 GPT 模型，发现它们在处理特定语料时均报告了完全一致的 44,794 tokens 结果。这一高度一致的表现证实了 GPT-5 与 GPT-6 使用相同 tokenizer 的假设，从而确立了 ttok 1.0 此次默认配置变更的技术合理性。该更新标志着工具链对最新模型架构支持的完善。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。