概要
Claude Codeの対話セッションを「頭脳」として活用し、追加のAPI課金なしでWindows 11のGUIを自律操作する軽量なエージェントの実装方法を解説した記事。
詳細内容
### 概要
Anthropicの「Computer Use」を、APIの従量課金なしでClaude Codeのサブスクリプション枠のみで実現するアプローチの解説です。追加の実装はPythonによる441行のヘルパーCLIのみで、APIキーも不要な点が特徴です。
### 技術的ポイント
- **セッション駆動の仕組み**: AIエージェントの「思考」部分にClaude Codeの既存セッションを利用。Bashツール経由でスクショ撮影（`snap.py`）とGUI操作（`act.py`）を実行します。
- **リソースの最適化**: 画面を1366×768にダウンスケールすることで、1枚あたりの画像トークンを約1,372に抑制。必要に応じて`--crop`で部分拡大することで精度を補完します。
- **安全性と実用性**: DPI awareness（スケーリング問題）の解決、APIキー等の秘匿情報入力拒否リスト、Bash承認UIによる人間介在型の実行管理など、実環境での運用を考慮した設計になっています。
### 結論
メモ帳への自動入力タスクにおいて、リカバリを含めた自律動作を確認。完全無人化はできませんが、コストを抑えつつネイティブWindowsアプリの自動化を手軽に試す手段として有効です。