概要
OpenAIが、非構造化テキスト内の個人情報（PII）をローカル環境で高精度かつ効率的に検出・マスキングできる、15億パラメータのオープンウェイトモデル「OpenAI Privacy Filter」をリリースしました。
詳細内容
OpenAIは、テキスト内の個人を特定できる情報（PII）を高度な文脈理解に基づいて検出・編集するためのオープンウェイトモデル「OpenAI Privacy Filter」を発表しました。このモデルは、従来のルールベースの手法では困難だった曖昧な参照や文脈に依存する個人情報の特定に長けており、住所、氏名、メールアドレスに加え、APIキーや銀行口座番号など計8つのカテゴリに対応しています。
技術的には、自己回帰モデルのチェックポイントから派生した双方向トークン分類器を採用しており、1回のパスで効率的にラベル付けを行うため、最大128,000トークンという長文コンテキストの処理も高速です。また、15億パラメータ（アクティブ5,000万）という軽量設計により、データを外部サーバーに送信せずローカルデバイス上で実行可能なため、情報漏洩リスクを最小化できます。
Apache 2.0ライセンスで提供され、Hugging FaceやGitHubから利用可能です。PII-Masking-300kベンチマークでF1スコア97.43%という最先端の性能を達成しており、開発者が独自のデータセットに合わせてファインチューニングすることも可能です。