基本概念
ドキュメントAIとは何か:文書を認識し理解する技術カテゴリの完全整理
Korea Deep Learning作成
ドキュメントAIとは、文書を読み取り、その中の構造と意味を把握する一連の技術をまとめて指すカテゴリの名称です。文字認識から構造化、項目抽出までの領域を含みます。
ドキュメントAIという言葉が使われる理由
一つの技術だけでは文書業務は解決できませんでした。
文書を扱う技術は長く文字認識と呼ばれてきました。画像から文字を取り出すことがほぼすべてだったからです。ところが実際の業務に当てはめてみると、文字だけでは何も進みませんでした。
表の構造が分かって初めて値の意味が決まり、様式を判別して初めて何を抽出するかが定まり、項目と値をつないで初めてシステムに入力できます。これらの技術はそれぞれ別の名前で呼ばれますが、一つの流れの上にあります。ドキュメントAIは、その流れ全体を指すために生まれた言葉です。特定の製品や方式ではなく、カテゴリを指す言葉だという点が重要です。
ドキュメントAIの正確な定義:AIワーカーとの違い
ドキュメントAIとAIワーカーの3つの軸の違い
第一に、範囲が違います。ドキュメントAIは文書を読んで理解する段階までを扱います。AIワーカーは、読み取った結果をもとに判断し、システムに登録する実行段階までを扱います。前者が技術の束であるのに対し、後者は業務の単位です。
第二に、目標が違います。ドキュメントAIの目標は、文書を機械が扱えるデータに変えることです。AIワーカーの目標は、そのデータで業務を完結させることです。
第三に、成果指標が違います。ドキュメントAIは認識精度、構造復元の精度、項目抽出の精度で評価します。AIワーカーは、人の介在なしに処理された割合と1件あたりの処理時間で評価します。前者の指標が良くても後者の指標が改善しない場合は、実際によくあります。
両者は対立しません。ドキュメントAIはAIワーカーが立つ土台です。ただし導入の議論で二つの言葉を混ぜて使うと、期待と結果がずれてしまいます。どこまでを任せる話なのかを先に決めておくのがよいです。
ドキュメントAIを構成する4つの技術領域
カテゴリに含まれる4つの技術領域
第一に、文字認識です。画像の中から文字を見つけてテキストに変換する領域で、文書の状態補正や手書き文字の処理もここに含まれます。
第二に、構造分析です。見出し、本文、表、図などの構成要素を判別し、読む順序と階層を決める領域です。
第三に、項目抽出です。業務に必要な値を選び、項目と組にして出力する領域で、検証ルールもここに付随します。
第四に、文書分類です。受け付けたファイルがどの様式かを見分け、必要に応じて文書単位に分割する領域です。
この四つは順番どおりに一列に並ぶものではなく、互いにかみ合っています。分類が決まって初めて何を抽出するかが定まり、構造が定まって初めて値に意味が生まれ、認識が正確であって初めて残りが成り立ちます。
ドキュメントAI導入時に確認すること
まず、どこまでを扱う製品なのかを確認します
ドキュメントAIという言葉は範囲が広いため、製品ごとに実際の範囲が異なります。文字認識だけを提供する製品もあれば、構造化まで提供する製品、業務の実行まで扱う製品もあり、いずれも同じ名前で紹介されます。
製品を検討する際は、名称よりも成果物を尋ねるほうが正確です。どのような結果が出てくるのか、その結果が既存のシステムにどう取り込まれるのかを確認すると、範囲がはっきりします。
指標を領域ごとに分けて見ます
一つの精度の数字にまとめた資料は、実際の性能を覆い隠します。文字認識、構造の復元、項目抽出、様式の判別をそれぞれ確認してください。
実際の評価では、これらの値が連動しないことがよくあります。文字認識は高いのに表の構造復元が大きく低い事例があります。要素の検出は漏れなくできているのに、表の復元だけが低い事例もあります。
国内環境でのドキュメントAI
国内では、文書の形式とセキュリティ要件が導入の範囲をまず制限します。ハングル文書作成ソフトの文書を原本のまま処理できるか、ネットワーク分離環境に導入できるかが、技術検討の最初に来ます。
文書の条件も異なります。官公庁の様式に見られる多層の表や丸数字の項目番号、FAXで受け付けた控えの重なったヘッダー、印影と手書き文字が混在する申請書が実際の対象になります。国内の文書で学習と検証を繰り返してきた事業者が有利な領域です。
読み取る段階と実行する段階を分けます
ドキュメントAIという言葉は範囲が広いため、どこまでを含むかは人によって異なります。そのため導入の議論では、どの段階の話をしているのかを先に揃えるのがよいです。
段階は五つに分けられます。文字を認識する段階、文書の構造を理解する段階、必要な値を構造化する段階、その値をもとに判断する段階、そして判断結果を業務システムに反映する段階です。ドキュメントAIという言葉は、一般に前の三つの段階を指します。
後ろの二つの段階まで含む概念は、別の名前で呼ばれます。読むところで終わるのか、業務の実行まで進むのかによって導入効果が変わるため、この区別をあいまいにすると期待と結果がずれてしまいます。
よくある質問
OCRと同じものですか?
いいえ。文字認識はドキュメントAIに含まれる一つの領域です。構造分析、項目抽出、様式の判別もあわせて含まれます。
どこまでがドキュメントAIですか?
文書を読んで理解する段階までと整理するのがわかりやすいです。読み取った結果で業務を実行する領域は、AIワーカーとして区別して呼びます。
製品によって範囲が異なるのはなぜですか?
カテゴリを指す言葉だからです。検討の際は名称ではなく、成果物と連携方法を確認してください。
導入の効果はどのように確認しますか?
認識精度だけでは不十分です。担当者の実際の作業が、どの段階で減るのかもあわせて確認してください。
ドキュメントAIとOCRは同じ言葉ですか?
いいえ。文字を認識する技術は、ドキュメントAIが扱う複数の段階のうちの一つです。構造の理解や情報の構造化まで含むカテゴリとして捉えるのが正確です。
どの段階まで必要かはどのように判断しますか?
業務で人が行っている作業がどこで終わっているかを見てください。システムへの入力まで人が行っているなら、判断と実行の段階まで必要です。
処理したい文書と目的を教えていただければ、必要な技術の範囲を整理してご案内します。
お問い合わせ



