LiteRT-LMによる高速なデバイス上での生成AI：Gemma 4への最適化とクロスプラットフォーム展開

概要

Googleが発表したLiteRT-LMは、Gemma 4に最適化されたエッジ推論エンジンで、MTPや高度なメモリ管理により、Android、iOS、Webの各プラットフォームで劇的なパフォーマンス向上とシームレスなAI体験を実現します。

詳細内容

LiteRT-LMは、Google AI Edgeスタックの中核として、Gemma 4をAndroid、iOS、Webブラウザ上で高速に動作させるための推論エンジンです。Multi-Token Prediction（MTP）へのネイティブ対応により、従来のデコード処理を最大2.2倍高速化します。また、KVキャッシュのシリアライズ機能によるセッション保存や、メモリ負荷を抑えるレイヤー埋め込みの動的ロードなど、リソース制約の厳しいエッジ環境に特化した設計が特徴です。SwiftおよびJavaScript APIの提供により、モバイルアプリからWebGPUを活用したブラウザ実行まで、幅広い開発環境で一貫したパフォーマンスを提供します。さらに「Thinking Mode」のサポートにより、エッジ側での高度な推論とツール利用（Function Calling）を組み合わせて実行可能です。

元記事を読む他のサマリーを見る