litelm: litellmから不要な機能を削ぎ落とした、約2,900行の軽量なLLMルーティング・翻訳ライブラリ

概要

10万行を超えるlitellmからルーティングとメッセージ変換のコア機能のみを抽出し、依存関係を最小化した軽量代替ライブラリ。

詳細内容

litelmは、多機能だが肥大化した『litellm』から、プロキシ、キャッシュ、コスト追跡、ガードレールなどの付加機能を排除し、モデル間のルーティングとフォーマット翻訳機能（約2,900行）のみに特化したライブラリです。依存パッケージを`openai`と`httpx`の2つに絞っており、軽量かつ高速な動作を特徴としています。既存のlitellmユーザーは、インポート文を1文字書き換えるだけでそのまま移行可能で、Anthropic、Bedrock、Groqなど19以上のプロバイダーに対応。ストリーミング、ツール呼び出し（Function Calling）、非同期処理、Embeddingsなどの主要な機能は維持されています。

元記事を読む他のサマリーを見る