开源|TOON:专为LLM设计的轻量级数据结构表示法,令牌成本减半
thinkindev • 2025-10-28
4427 views
近日,GitHub上开源项目TOON(Token-Oriented Object Notation)引发开发者社区广泛关注。这一由开发者johannschopplich推出的新型数据格式,专为大语言模型(LLM)输入优化设计,通过精简的结构化数据表示方式,显著降低了令牌使用量。技术层面,TOON采用令牌导向的轻量化语法结构,在保持人类可读性的同时,实现了比标准JSON格式更高的数据密度。基准测试表明,在处理统一复杂对象时,TOON不仅将令牌消耗降低至传统JSON的一半,还意外地提升了模型输出的准确率。这一突破性技术对降低LLM应用运营成本具有重大意义,特别是在需要频繁传递结构化数据的AI代理、多轮对话系统等场景中,TOON有望成为新一代高效数据交换标准。目前该项目已在GitHub开源,为开发者社区提供了直接可用的实现方案。
核心要点
- TOON格式专为LLM优化,可将结构化数据的令牌使用量降低50%
- 在基准测试中同时实现了更低令牌消耗和更高输出准确率
- 保持人类可读性的轻量化设计,特别适合处理统一复杂对象