【特集】眠っているIntelのNPUをLLMで叩き起こしてみた - PC Watch

概要

利用機会の少ないIntel製NPU「Intel AI Boost」を、Microsoft Foundry LocalとAnythingLLMを組み合わせてローカルLLMとして活用する実用的な手法とメリットを解説。

詳細内容

最新のPCに搭載されながらも活用機会が乏しいIntelのNPU（特にArrow Lake世代）を、LLM（大規模言語モデル）の推論エンジンとして活用する方法を紹介している。具体的には、Microsoftが提供するOpenVINOベースの推論エンジン「Foundry Local」をバックエンドとし、GUIフロントエンドとして「AnythingLLM」を接続する手順を解説。Core Ultra 9 285HXでの検証では、推論速度は約8 tokens/sに留まるものの、消費電力の増加がわずか5〜7W程度というNPU特有の低消費電力・静音性のメリットを実証した。最新モデルの対応にはタイムラグがあるものの、常駐型アシスタントなどの低負荷な用途におけるNPU活用の可能性を提示している。

元記事を読む他のサマリーを見る