概要
https://qiita.com/shichi343/items/27c5a04cdaeb19a0d071
詳細内容
## Chromeの組み込みAIに画面共有してデスクワークを実況させる #GeminiNano
https://qiita.com/shichi343/items/27c5a04cdaeb19a0d071
構築し、Chromeの組み込みAI（Gemini Nano）を活用して画面共有内容をリアルタイムに実況・要約するデモアプリの実装手法を提案する。
**Content Type**: 📖 Tutorial & Guide
**Language**: ja
**Scores**: Signal:4/5 | Depth:3/5 | Unique:4/5 | Practical:4/5 | Anti-Hype:4/5
**Main Journal**: 75/100 | **Annex Potential**: 76/100 | **Overall**: 76/100
**Topics**: [[Chrome Built-in AI, Gemini Nano, Prompt API, Screen Capture API, ローカルLLM]]
Chromeの組み込みAI（Gemini Nano）を活用し、ブラウザ上で画面共有されたデスクワークの様子をリアルタイムに要約・レポート化するデモアプリの構築手法を解説する。ブラウザ内で完結する小型言語モデル（LLM）の活用により、機密性の高い作業画面をクラウドに送ることなく、セキュアかつ無料でAI処理する新しいワークフローを提示している。Webエンジニアにとって、Prompt APIの具体的な実装パターンや、Screen Capture APIとの組み合わせによる「エッジAIの実用性」を検証する上で価値が高い。
著者が提案する主な技術構成は、Screen Capture APIで取得した映像を一定間隔でCanvasに描画してPNG Blob化し、それをPrompt APIに渡して要約を生成するというものだ。実装上の工夫として、モデルの初期化コストを抑えるためのセッション管理（`LanguageModel.create`による初期化と`session.clone`による再利用の使い分け）が示されており、連続的なタスク処理における効率的なAPI利用法を学べる。また、ブラウザのクラッシュに備えて一時データを`localStorage`に保存するなどの、実務的なアプリケーション設計上の配慮も見られる。
筆者によれば、このアプローチの最大の利点は「セキュア」「ほぼ無料」「誰でも簡単」の3点にある。特に業務中のパソコン画面には機密情報が多く含まれるため、データを外部に漏らさないブラウザ完結型のAIは、実用的な作業ログ生成において導入障壁が極めて低い。また、モデルのセットアップが不要で、JavaScriptコードのみで即座に動かせる簡便さを強調している。
実際に筆者が自身の開発作業を記録させた検証結果では、コードを書いているかブラウザを閲覧しているかといった大まかな作業内容の把握には成功している。一方で、画面上の細かなテキストを完全に読み取る精度や、要約生成に10〜20秒を要する実行速度には現時点で課題が残ると指摘している。しかし、著者はこれらを今後のモデル性能向上やワークフローの工夫で改善可能と見ており、ブラウザ内蔵AIがすでに実用領域に入りつつあるという見解を示している。読者が追体験できるよう、`chrome://flags`での設定方法から`LanguageModel.availability()`による確認手順まで網羅されており、エッジAIプロトタイピングの実践的なガイドとなっている。