漫话开发者 - UWL.ME Mobile
Loading more...
漫话开发者 - UWL.ME Mobile

在 QCon London 2026 上,SpiralDB 团队展示了 Vortex 如何将压缩列式数据从 S3 直接流式传输到 GPU 内存,全程仅需一次拷贝。相比传统方案先将数据落盘或依赖 CPU 解压,Vortex 的列式布局能够在传输前对数据进行裁剪,减少无关数据进入 GPU;其编码设计支持 GPU 侧解压与计算,避开主机端解压瓶颈。现场演示中,这一架构使扫描性能相较 Parquet 提升约 30 倍,为面向数据湖、实时分析和 GPU 加速查询的场景提供了新的工程路径。该方案的核心价值在于把存储层、传输层和计算层更紧密地衔接起来,让 GPU 不再等待冗长的数据准备过程。

核心要点

  • Vortex 以单次拷贝将 S3 中的压缩列式数据流式送入 GPU 内存
  • 利用列式布局在传输前裁剪数据,降低无效 I/O 和主机端开销
  • GPU 侧解压与计算使演示扫描性能较 Parquet 提升约 30 倍

Read more >