概要
https://spiraldb.com/post/announcing-spiral
詳細内容
## Announcing Spiral
https://spiraldb.com/post/announcing-spiral
Spiralは、AIワークロード向けに既存のデータシステムが抱える非効率性とセキュリティ課題を解決するため、機械消費に最適化された新しいデータ基盤とファイルフォーマットVortexを発表しました。
**Content Type**: News & Announcements
**Scores**: Signal:5/5 | Depth:4/5 | Unique:4/5 | Practical:5/5 | Anti-Hype:4/5
**Main Journal**: 91/100 | **Annex Potential**: 87/100 | **Overall**: 88/100
**Topics**: [[Generative AI Infrastructure, Data Management for AI, GPU Utilization, Machine Learning Workflows, Data Security]]
記事は、AIワークロードが「データシステムの第三の時代」をもたらし、機械がペタバイト級のデータを直接消費する「機械コンシューマー」の時代に入ったと指摘します。従来のPostgresや「ビッグデータ」時代のレイクハウスといったシステムは、人間スケールまたは人間による集計を前提としており、AIが必要とする高速なスキャン、ポイントルックアップ、検索といった機械スケールの出力には非効率的であると論じます。特に、ベクター埋め込みや小型画像、大規模ドキュメントといった1KBから25MBのデータサイズ帯で、Parquetファイルやオブジェクトストレージが極めて非効率になる「不気味の谷」が存在し、これがGPUの低稼働率やAIエンジニアの複雑なデータ準備作業（Parquet読み込み→Arrow変換→テンソル化→キャッシュ→学習）の原因となっています。
さらに、既存のソリューションを無理に適用することで、データ漏洩や過度なS3権限付与といった深刻なセキュリティリスクも生じており、開発速度とセキュリティの間の「偽りの選択」を強いられていると警告します。
Spiral社は、この第三の時代に対応するため、新たなデータ基盤をゼロから構築しました。彼らはまず、最先端のカラム型ファイルフォーマット「Vortex」を開発し、Linux Foundationに寄贈しました。VortexはParquetと同等の圧縮率を保ちつつ、スキャン速度を10〜20倍、書き込み速度を5〜10倍、ランダムアクセス読み取り速度を100〜200倍（200msから1.5ms）に向上させ、S3からGPUへの直接デコードを可能にしCPUボトルネックを排除します。Spiralデータベースは、このVortexを基盤とし、オブジェクトストレージネイティブ、あらゆるデータタイプに対応する統合ガバナンス、GPUを飽和させる機械スケールのスループット、そして「恐れることのない権限付与」を単一APIで提供します。これにより、AIエンジニアはデータインフラの課題から解放され、モデル開発に注力できるようになると強調しています。これは、ウェブアプリケーションエンジニアがAI機能を実装する上で、データパイプラインの簡素化、パフォーマンスの最大化、セキュリティの確保を同時に実現できる、重要な進化を示唆しています。