漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品

Lance:现代机器学习数据格式

talkingdev • 2023-06-02

1370395 views

Lance是一种现代的机器学习数据格式。它提供了更快的随机访问、向量索引、数据版本控制等功能。Lance支持pandas、duckdb、polars和pyarrow等工具,可用于构建搜索引擎和特征库、大规模机器学习训练,以及存储、查询和检查深度嵌套的数据。 **核心要点:** - Lance是一种现代机器学习数据格式,具有更快的随机访问、向量索引、数据版本控制等功能。 - Lance兼容pandas、duckdb、polars和pyarrow等工具,可用于构建搜索引擎和特征库、大规模机器学习训练,以及存储、查询和检查深度嵌套的数据。 - Lance的应用场景包括搜索引擎和特征库的构建、大规模机器学习训练,以及深度嵌套数据的存储、查询和检查等。