TavilyがAmazon S3 Express One Zoneを採用し、AI検索のキャッシュコストを95%削減

概要

AI検索インフラのTavilyは、キャッシュ層をドキュメントDBからAmazon S3 Express One Zoneに移行し、1桁ミリ秒の低レイテンシ達成とコスト95%削減に成功しました。

詳細内容

自律型AIエージェント向けのリアルタイムWeb検索APIを提供するTavilyは、極めて低い応答時間（10ms未満）と予測困難なトラフィックへの対応という課題に直面していました。従来のドキュメントデータベースによるキャッシュは、レイテンシの不安定さとプロビジョニングに伴う高額なコスト（月額数万ドル）がボトルネックとなっていました。同社は、1桁ミリ秒のレイテンシを安定提供する「Amazon S3 Express One Zone」を新たなキャッシュ層として採用。計算リソースと同じアベイラビリティゾーン（AZ）に配置することでネットワークホップを最小化し、リクエストベースの課金モデルによりコストを95%削減しました。現在、同社はRedis（最頻アクセス）、S3 Express One Zone（ホットデータ）、S3 Standard（バックアップ・冗長性）を組み合わせた3層のキャッシュ階層を構築し、高いスケーラビリティとコスト効率を両立させています。

元記事を読む他のサマリーを見る