技術と構成
KIEとは何か: 文書から業務データを抽出する重要情報抽出の完全ガイド
Korea Deep Learning作成
KIE(Key Information Extraction)とは、文書に書かれた内容のうち業務に必要な項目だけを選び出し、キーと値の組として構造化して、既存の業務システムにそのまま入力できる形に変換する技術です。
KIEが必要になった背景
読み取るだけでは不十分です。
文書の画像をテキストに変換する技術は以前からあり、活字に対する精度はすでに十分に高くなっています。それでも担当者の業務はあまり減りませんでした。認識結果が一塊の文字として出てくると、その中で事業者登録番号がどこにあり、代表者名がどこにあるのかは、結局人が目で探してシステムに書き写さなければならないからです。海外法人の与信審査業務で、申請書類1件を確認し、入力し、照合するのに長い時間がかかっていたのも同じ理由です。KIEは、この点を狙った技術です。
KIEの正確な定義: OCRとどう違うのか
OCRとKIE、3つの軸の違い
第一に、対象が異なります。OCRは画像上の文字を対象とします。KIEは認識された文字と、その文字が置かれた位置、周囲の項目名をあわせて対象とします。
第二に、目標が異なります。OCRの目標は、書かれた文字を漏れなく正確に書き写すことです。KIEの目標は、業務に必要な項目を選び、値と組にして出力することです。同じ文書で、OCRは事業者登録番号とその後の数字を1つの文字列として出しますが、KIEは事業者登録番号というキーに、その数字が値としてひも付いたデータを出します。
第三に、成果指標が異なります。OCRは文字単位の精度で測定します。KIEは項目単位の完全一致率と、人が修正した割合で測定します。文字の精度が高くても項目のひも付けがずれていれば、業務上は誤りとして扱われるため、2つの指標は分けて見るほうが正確です。
両技術は代替関係にありません。OCRが読めなかった文字はKIEも抽出できないため、認識品質の上に抽出の構造を載せる順序が正しいのです。
業務に投入できるKIEの5つの条件
実際の運用に必要なKIEの5つの条件
第一に、抽出項目が業務の基準で定義されていることです。基準となるのは、モデルが抽出できる項目ではなく、担当者がシステムに入力しなければならない項目です。
第二に、様式が変わっても耐えられることです。同じ申請書でも支店や年度によってレイアウトが異なるため、座標を固定する方式は長く持ちません。
第三に、手書き、チェックボックス、印影が混在した文書を処理できることです。あるカード金融機関の検証で、活字と手書きの両方でキー値の抽出精度が高く確認されたことは、この条件を満たしたことを意味します。
第四に、抽出した値の位置をたどれることです。原文のどこから出た値なのかが確認できなければ、確認者は文書全体を再び読むことになります。
第五に、検証ルールが一緒に動くことです。日付の前後関係、金額の合計、書類間の氏名の一致など、業務が求める条件はモデルではなく、ルールとして定めます。
KIEの実際の適用方法
項目の定義が先です
プロジェクトの最初の成果物はモデルではなく、項目定義書です。ある銀行の被害救済業務の自動化でも、被害救済申請書、支払停止請求書、事件・事故事実確認書など、書類ごとにどの項目をどの形式で抽出するかを定義する作業が先に行われました。この文書がなければ、性能を評価する基準そのものが作られません。
分類と抽出を分けて設計します
複数の書類が1つのファイルにまとめて届く環境では、文書を分割して様式を判別する段階が先に必要です。あるカード金融機関の事例で、初期の文書群と分類コード体系を先に定めてから抽出に進んだのはこのためです。文書の分類精度が確保されてから、はじめて項目抽出が安定して動作します。
検証ルールを抽出と一緒に動かします
抽出された値をそのままシステムに入れると、誤りは後の段階で見つかります。値が出る時点でルールにより取り除いておけば、担当者に回る件数そのものが減ります。
ルールは3種類に分けて設定します。まず形式検証です。事業者登録番号の桁数、日付の形式、口座番号の区切り記号のように、形が決まっている項目を確認します。次は関係検証です。申請日が発行日より前になっていないか、金額の合計が項目別の値の和と一致するかを見ます。最後は文書間の検証です。申請書の代表者名と証憑書類の代表者名が同じか、口座番号が通帳の写しと一致するかを照合します。
3つ目は特に重要です。金融の審査業務は1枚の文書では完結せず、複数の書類を照らし合わせてこそ1件が完結するからです。ある銀行の被害救済自動化では、この照合によって書類間の不一致を自動で見つけた事例が確認されています。
抽出項目をバージョンで管理します
項目定義書は一度作って終わりではありません。様式が改訂され、業務ルールが変われば、抽出項目も変わります。その際に定義書を上書きすると、何が、いつ、なぜ変わったのかが失われてしまいます。
実務で使われているのは、変更が生じるたびに新しいバージョンを作成し、以前のバージョンを残す方法です。項目が追加されたか、形式のヒントが変わったか、下位項目がまとめられたかを、メモとあわせて記録します。そのうえで同じ評価文書で以前のバージョンと性能を比較し、承認の手続きを経て運用に反映します。
この手続きがあれば、変更によって性能が落ちた場合にすぐ元に戻せます。担当者が替わっても、なぜそのように設定したのかが文書に残ります。
国内環境でのKIE
国内の金融機関や公共機関は、ネットワーク分離の規定を受けることが多く、外部APIの呼び出しが制限されます。そのため、オンプレミスでの構築が可能かどうかが、技術検討の最初の関門になります。加えて、韓国語(ハングル)ワープロの文書、FAXで受け付けられた低解像度のスキャン、官公庁の様式に特有の表構造も扱わなければなりません。国内文書で学習と検証を繰り返してきた事業者は、これらの点で有利です。
よくある質問
OCRの精度が高ければ、KIEも自動的に正確になりますか?
いいえ。OCRの精度はKIEの上限を決めるだけです。文字を正確に読んでも、どの項目かを誤ってひも付ければ、業務上は誤りとして扱われます。
手書きで書かれた項目も抽出できますか?
可能です。あるカード金融機関の検証では、手書き文字を基準にしたキー値の抽出精度が高く確認されました。ただし、手書きのばらつきが大きい項目では、検証ルールもあわせて設けておくほうが安全です。
様式が頻繁に変わると、そのたびに再学習が必要ですか?
いいえ。座標に基づくルールの方式は様式の変更に弱いですが、文書の構造と文脈をあわせて解釈する方式は、配置が変わっても項目名を基準に値を探します。
抽出したデータは既存のシステムにどのように入りますか?
抽出と検証を終えたデータは電子文書管理システムに蓄積され、その後、自動化ツールを経て基幹の業務システムに登録されます。この連携がなければ、担当者が結果を再び入力することになります。
後から抽出項目が増えた場合はどうしますか?
項目定義書に追加し、新しいバージョンとして保存します。同じ評価文書で以前のバージョンと性能を比較し、承認の手続きを経て運用に反映してください。
複数の文書にまたがる項目も検証できますか?
可能です。申請書と証憑書類の代表者名や口座番号を自動で照合する方式が、実際の審査業務で使われています。
ネットワーク分離の環境でも導入できますか?
可能です。顧客の社内サーバーにインストールして運用するオンプレミス方式であれば、外部通信なしで動作します。
文書を1種類だけお送りいただければ、実際の抽出結果をそのままご返信いたします。
お問い合わせ



