LLM表格理解能力大比拼:11种数据格式测试结果揭晓
thinkindev • 2025-10-06
2020 views
最新研究针对大型语言模型的表格理解能力展开系统性评测,通过向GPT-4.1-nano模型输入包含1000条员工记录的11种不同格式数据,评估其回答问题的准确率。研究结果显示,Markdown键值对格式(Markdown-KV)以最高准确率脱颖而出,而传统常用的CSV和JSONL格式表现令人意外地糟糕,这表明数据格式对LLM的理解能力产生显著影响。值得注意的是,虽然Markdown-KV格式准确率最高,但其令牌使用量却高于最节省令牌的CSV格式,揭示了准确率与计算成本之间的重要权衡关系。这项研究为开发者在选择数据格式时提供了关键参考,特别是在需要平衡模型性能与运营成本的现实应用场景中。
核心要点
- Markdown-KV格式在LLM表格理解测试中准确率最高
- CSV和JSONL格式在11种数据格式中表现最差
- 准确率与令牌效率存在明显权衡关系