概要
ビズリーチが、LLMサービスの本番運用における課題を解決するため、独自の「SARアーキテクチャ」を用いた共有プラットフォームを構築し、ランタイムリスクの標準化と開発のスケールを実現した軌跡。
詳細内容
ビズリーチにおけるLLM活用の進化、特に単一のAPIラッパーから全社共通の「LLMプラットフォーム」への移行プロセスを解説した技術記事です。
### 1. SAR（Sender-Agent-Receiver）アーキテクチャ
当初のレジュメ自動作成機能の開発で培われた、非同期実行モデル「SAR」をプラットフォームの核に据えています。リクエスト受付（Sender）、非同期実行（Agent）、結果取得（Receiver）を分離することで、長時間かかるLLM処理のライフサイクルを一貫して管理し、スケーラビリティと耐障害性を向上させました。
### 2. ランタイムリスクの「シフトダウン」
各プロダクトチームが個別にLLMの運用課題（タイムアウト、モデレーション、ステータス管理等）を解決するのではなく、プラットフォーム側へこれらの責務を「シフトダウン」しました。プロダクトチームは「Configuration as Code」に基づき、プロンプトやスキーマなどのドメイン固有の意図のみを定義し、実行モデルの複雑さから解放されます。
### 3. 組織とガバナンス
チームトポロジーを採用し、プラットフォームチームが専門性の高い基盤を提供し、ストリームアラインドなプロダクトチームが迅速に機能をリリースできる体制を構築。これにより、人員を比例させずに多様なAI機能を支える基盤を確立しました。