开源|Arc时序数据仓库:原生部署每秒处理189万条记录,DuckDB+Parquet+MinIO强强联合
thinkindev • 2025-10-08
1441 views
Basekick Labs团队在GitHub开源的高性能时序数据仓库Arc引发技术社区关注。该项目基于DuckDB列式存储引擎、Parquet文件格式和MinIO对象存储构建,在原生部署环境下实现了每秒189万条记录的写入性能,为物联网、金融交易监控等实时数据处理场景提供了新的解决方案。Arc通过SQL接口支持高速数据摄取与分析查询,其技术架构充分利用了DuckDB的向量化执行引擎与Parquet的高效压缩特性,结合MinIO的云原生存储能力,形成了完整的时序数据处理链路。该项目的AGPL-3.0许可证确保了开源社区的可持续参与,其性能表现已超越许多商业时序数据库,预示着开源时序数据处理技术正进入新的发展阶段。
核心要点
- 基于DuckDB+Parquet+MinIO技术栈的时序数据仓库
- 原生部署环境下实现每秒189万条记录写入性能
- 支持标准SQL接口进行高速数据摄取与查询分析