Simon Willison·· 8 小时前AI 评分31
ttok 1.0 发布:默认切换至 GPT-5/GPT-6 tokenizer
ttok 1.0
AI 导读
Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。尽管 OpenAI 未正式确认 GPT-6 与 GPT-5 家族使用相同 tokenizer,但 William Liu 的实验显示所有七款 GPT 模型在测试语料中均报告 44,794 tokens 且结果一致,证实了该变更的合理性。
来源:Simon Willison · simonwillison.net