Minbpe开源的语言模型分词器
talkingdev • 2024-02-20
612607 views
Karpathy发布了一个最小化、干净、可扩展的实现字节对编码的语言模型分词器，Minbpe现已在GitHub Repo中开放。
talkingdev • 2024-02-20
612607 views
Karpathy发布了一个最小化、干净、可扩展的实现字节对编码的语言模型分词器，Minbpe现已在GitHub Repo中开放。