KIEとは何か：文書から業務データを取り出す主要情報抽出の完全整理

KIE（Key Information Extraction）とは、文書に記載された内容のうち業務に必要な項目だけを選び出し、キーと値の組として構造化して、既存の業務システムにそのまま入力できる形に変換する技術です。

KIEが必要になった背景

読むだけでは足りません。

文書画像をテキストに変換する技術は以前からあり、活字を対象とした精度はすでに十分な水準にあります。それでも担当者の業務は大きく減りませんでした。認識結果が一かたまりの文字列として出てくると、その中で事業者登録番号がどこで代表者名がどこかは、結局人が目で探してシステムに転記することになるからです。海外法人の与信審査業務で申請書類一件の確認と入力、突き合わせに21分以上かかっていたのも同じ理由です。KIEはこの地点を狙った技術です。

KIEの正確な定義：OCRと何が違うのか

OCRとKIE、三つの軸の違い

第一に、対象が異なります。OCRは画像上の文字を対象とします。KIEは認識された文字に加えて、その文字が置かれた位置と周囲の項目名までを併せて対象とします。

第二に、目標が異なります。OCRの目標は記載された文字を漏れなく正確に写し取ることです。KIEの目標は業務に必要な項目を選び、値と対応づけて出力することです。同じ文書からOCRは事業者登録番号とその後ろの数字を一つの文字列として出し、KIEは事業者登録番号というキーにその数字が値として結びついたデータを出します。

第三に、成果指標が異なります。OCRは文字単位の精度で測ります。KIEは項目単位の完全一致率と、人が修正した比率で測ります。文字精度が高くても項目の対応づけがずれれば業務上は誤りとして扱われるため、二つの指標を分けて見るほうが正確です。

二つの技術は置き換えの関係にはありません。OCRが読み取れなかった文字はKIEでも抽出できないため、認識品質の上に抽出構造を載せる順序が適切です。

業務に投入できるKIEの5つの条件

実運用に入るKIEの5つの条件

第一に、抽出項目が業務基準で定義されていることです。モデルが取り出せる項目ではなく、担当者がシステムに入力すべき項目が基準になります。

第二に、様式が変わっても耐えることです。同じ申請書でも支店や年度によって配置が変わるため、座標を固定する方式は長続きしません。

第三に、手書きやチェックボックス、印影が混在した文書を処理できることです。あるカード金融機関の検証で、活字と手書きの双方でキーと値の抽出精度が98%と確認されたのは、この条件を満たしたという意味です。

第四に、抽出した値の位置をたどれることです。原文のどこから出た値かを確認できなければ、検収者は文書をもう一度すべて読み直すことになります。

第五に、検証ルールが併走することです。日付の前後関係、金額の合計、書類間の氏名の一致といった業務上の条件は、モデルではなくルールで押さえます。

KIEの実際の適用方法

抽出項目の定義が先です

プロジェクトの最初の成果物はモデルではなく項目定義書です。ある銀行の被害救済業務の自動化でも、書類ごとにどの項目をどの形式で抽出するかを定義する作業が先行しました。この文書がなければ性能評価の基準そのものが成立しません。

分類と抽出を分けて設計します

複数の書類が一つのファイルに結合されて届く環境では、文書を分割して様式を判別する段階が先に必要です。あるカード金融機関の事例で、初期文書群46種と747個の分類コード体系をまず整えてから抽出に進んだ理由がここにあります。文書分類の精度が97%で確保された後に、項目抽出が安定して動作します。

検証ルールを抽出と併せて動かします

抽出された値をそのままシステムに入れると、誤りが後工程で見つかります。値が出る時点でルールにより選り分けておけば、担当者に渡る件数そのものが減ります。

ルールは三種類に分けて設けます。まず形式の検証です。事業者登録番号の桁数、日付の書式、口座番号の区切り記号のように形が定まった項目を確認します。次に関係の検証です。申請日が発行日より前でないか、金額の合計が項目別の値の和と合うかを見ます。最後に文書間の検証です。申請書の代表者名と証憑書類の代表者名が一致するか、口座番号が通帳の写しと合致するかを突き合わせます。

三番目が特に重要です。金融審査の業務は一枚の文書で完結せず、複数の書類を突き合わせて初めて一件が完了するためです。ある銀行の被害救済自動化では、この突き合わせによって項目46件のうち1件の不一致を自動的に検出した事例が確認されています。

国内環境におけるKIE

韓国の金融と公共の組織はネットワーク分離規定の適用を受ける場合が多く、外部API呼び出しが制限されます。したがってオンプレミス構築が可能かどうかが技術検討の最初の関門になります。加えて韓国製ワープロ文書、ファクスで受け付けた低画質のスキャン、官公庁様式特有の表構造を扱う必要があります。国内文書で学習と検証を繰り返した事業者が有利な領域です。

よくあるご質問