Libgen转换为txt的文本数据集开源

talkingdev • 2023-10-17

975508 views

Libgen是许多封闭模型中的数据集。虽然这个数据集的商业使用合法性存在争议，但研究人员仍在使用它来更好地了解语言模型训练数据质量。这个开源的GitHub代码库旨在将Libgen转换为txt文本文档的形式，以便更方便地进行文本挖掘和自然语言处理研究。该代码库已经在研究社区中得到了广泛的关注和使用。