データと品質
個人情報の非識別化とは何か:文書をデータとして使うための前提条件の完全ガイド
Korea Deep Learning作成
個人情報の非識別化とは、文書の中から個人を特定できる項目を見つけ出して隠したり、別の値に置き換えたりすることで、その文書を学習や検索といった別の用途に移せるようにする処理です。
非識別化が前提条件になる理由
データとして使うには、まず取り除く必要があります。
文書の資産を検索や生成AIに接続しようとする組織が増えています。しかし、実際の文書を開くと、氏名、住民登録番号、口座番号、住所、連絡先があちこちに書かれています。申込書や証拠書類は、そのほとんどが個人情報のかたまりです。
この状態の文書をそのままインデックスに載せると、検索結果に個人情報が表示されてしまいます。学習に使えば、モデルがその値を記憶してしまうおそれもあります。そのため、公共データを別の用途に移す際には、非識別化は任意の選択肢ではなく、事実上の前提条件となります。処理の順序を守ることも重要です。インデックスを作った後に処理すると、元の値がすでに検索の対象に残ってしまいます。
非識別化の正確な定義:マスキングとは何が違うのか
画面のマスキングと非識別化の3つの違い
第一に、適用の地点が異なります。画面のマスキングは、表示される瞬間に値を隠します。データには元の値がそのまま残っています。非識別化はデータそのものを変えます。
第二に、目的が異なります。画面のマスキングの目的は閲覧の制御です。非識別化の目的は、そのデータを別の用途で使えるようにすることです。
第三に、元に戻せるかどうかが異なります。画面のマスキングは、権限があれば元の値を見られます。非識別化は、方式によっては元に戻せないようにすることも、別途の対応表を置いて必要なときだけ復元できるようにすることもできます。
2つの方法は代替関係にはありません。元の文書は統制された領域に置き、画面のマスキングで閲覧を制限する一方で、検索や分析には非識別化されたコピーを使う構成が実務では一般的です。
非識別化を設計する5つの基準
実際の適用で用いる5つの基準
第一に、対象の項目を一覧にして定めます。氏名や住民登録番号のような明白な項目だけでなく、組み合わせると個人を特定できる項目も含める必要があります。所属、役職、生年月日、詳しい住所が一緒にあれば、特定が可能になります。
第二に、項目ごとに処理の方法を決めます。完全に削除するのか、一部だけを隠すのか、別の値に置き換えるのかによって、その後の活用性が変わります。日付をすべて削除してしまうと、時系列の分析ができなくなります。
第三に、画像とテキストをあわせて扱います。スキャンされた文書では値が画像の中にあるため、テキストだけを処理すると、元の画像にそのまま残ってしまいます。
第四に、順序を守ります。チャンクを作成する前、またインデックスを載せる前に処理しなければなりません。
第五に、検証の手順を設けます。自動処理の後に標本を抽出し、残っている項目がないかを人が確認する段階が必要です。
非識別化の実際の適用方法
原本とコピーを分けて管理します
原本を削除する方式は危険です。後で根拠を確認しなければならない場面が必ず生じるためです。
実務では、原本を統制された領域に保管し、非識別化されたコピーを別に作って検索と分析に使います。2つの領域のアクセス権限を異なるものにしておけば、活用と統制の両方を満たすことができます。
活用の目的に合わせて強度を決めます
非識別化の強度を高めるほど安全になりますが、データの有用性は下がります。統計分析が目的であれば強く、文書検索が目的であれば特定の項目だけを処理するなど、目的に合わせて決める必要があります。
目的が定まらないまま一括で処理すると、後で使えないデータになってしまいます。
国内環境での非識別化
国内では、個人情報保護に関する法令と機関ごとの指針が同時に適用されます。公共機関は独自の処理基準を設けていることが多いため、導入の前に該当機関の指針を確認してください。
文書の条件も考慮が必要です。住民登録番号や口座番号は形式が決まっているため比較的検出しやすい一方、手書きの氏名、印影の中の氏名、写真の中の身分証は見落としやすくなります。画像の領域も処理の対象に含め、標本による検証を併せて行ってください。
処理の順序が結果を左右します
非識別化をいつ行うかによって、効果は変わります。検索インデックスを作った後に処理すると、元の値がインデックスに残り、検索結果に表示されるおそれがあります。
そのため、文書を構造化した直後、チャンクを作成する前に行う順序が安全です。この時点では、各項目の性質がすでに判別されているため、氏名、住民登録番号、口座番号、住所といった項目を正確に指定できます。
処理の方式も用途によって分けます。画面に表示することが目的であれば、一部を隠すマスキングで十分ですが、学習や検索の資料に移す場合は、置き換えるか削除するほうが安全です。あるカード金融機関の審査自動化では、正常な件についてマスキングと システム連携を自動で処理する構成が使われました。
よくある質問
原本はどうすればよいですか?
統制された領域にそのまま保管するほうが安全です。非識別化されたコピーを別に作り、検索と分析に使う構成が一般的です。
どの時点で処理すべきですか?
チャンクを作成し、検索インデックスを載せる前です。インデックスを作った後に処理すると、元の値が検索の対象に残ってしまいます。
スキャン文書の画像も処理されますか?
可能です。値が画像の中にあるため、テキストだけを処理すると元の画像に残ります。画像の領域の処理が含まれているかを確認してください。
処理の後に確認は必要ですか?
必要です。自動処理の後に標本を抽出し、残っている項目がないかを人が確認する手順を設けてください。
元に戻すことはできますか?
方式によって異なります。対応表を別に保管しておけば、必要なときに値を復元できます。対応表がなければ元に戻すことはできません。目的に合わせて決めてください。
いつ処理すべきですか?
文書を構造化した直後、検索用のチャンクを作成する前に行ってください。インデックスを作った後に処理すると、元の値が検索の対象に残ります。
マスキングと置き換えのどちらを使うべきですか?
用途によって異なります。画面に表示することが目的であればマスキングで十分ですが、学習や検索の資料としてデータを移す場合は、置き換えるか削除するほうが安全です。
処理する文書と利用目的をお知らせください。非識別化の範囲をあわせて整理してお伝えします。
お問い合わせ



