OraがVercel上で主要なAIエージェントをどのようにベンチマークしているか

概要

Oraは、Vercelのインフラを活用して主要なAIエージェントのWeb操作性能を比較検証するベンチマーク基盤を構築し、Webサイトの「エージェント対応度」を可視化しています。

詳細内容

### AIエージェントのWeb対応力を測定する「Ora」 Oraは、AIエージェントがWebサイト上で製品へのサインアップや支払いなどのタスクをどの程度遂行できるかを測定するプラットフォームを提供しています。共同創業者のAssaf Elovic氏によれば、現状のWebサイトの99%はAIエージェントが操作することを想定しておらず、Oraはそれらのサイトでエージェントが失敗する原因を特定・改善することを目指しています。 ### 主要エージェントの比較とVercel「eve」の評価 Oraは、Claude Code、ChatGPT、Gemini、Hermes、そしてVercelの新しいエージェントフレームワーク「eve」などを同一条件でベンチマークしています。Vercel上で構築されたテスト環境において、eveはClaude Codeと比較して「ゴール達成までのステップ数が7%減少」「外部検索に頼らないネイティブな成功率が2倍」「有効なエンドポイント発見率が9%向上」といった優れた結果を示しました。 ### 効率的な開発体制とAIエージェントの活用 Oraの16人のエンジニアチームは、Vercelのスタックを統合することで、AIコーディングエージェントを用いたデバッグやデプロイ、環境変数の変更を自動化し、1日に数百回のコミットを行う高速な開発サイクルを実現しています。現在はプラットフォームのマイクロサービス化を進め、さらなる拡張を図っています。

元記事を読む他のサマリーを見る