用語集をすべて見る

基本概念

非構造化データとは何か: そのままではシステムに入れられないデータの完全ガイド

Korea Deep Learning作成

非構造化データとは、行と列に整理されていないために、データベースにそのまま登録できない状態の文書、画像、スキャン、ファックスなど、人は読めるもののシステムが直接扱えないデータのことです。

非構造化データが問題になる理由

データはあるのに、使えません。

企業や機関が保有するデータの大部分は、非構造化データです。契約書、申請書、証憑書類、公文書、マニュアル、議事録が、ファイルサーバーや文書管理システムに蓄積されています。量だけで見れば、どの組織もデータが不足しているわけではありません。

問題は、このデータを検索できないことにあります。ある契約書にどのような条件が含まれているのかを確認するには、人がファイルを開いて読む必要があります。生成AIを導入しても、状況はあまり変わりません。モデルが扱える形になっていないからです。業務の自動化であれ、検索であれ、出発点はこのデータを読み取る段階にあります。

非構造化データの正確な定義: 構造化データとどこが違うのか

構造化データと非構造化データ、3つの軸での違い

第一に、形態が異なります。構造化データでは、項目と値が事前に定義された構造の中に入っています。非構造化データにはそのような構造がありません。同じ事業者登録番号であっても、ある文書では表の中に、別の文書では文章の中に、また別の文書では印鑑の横に書かれています。

第二に、扱い方が異なります。構造化データは、そのまま検索すれば済みます。非構造化データは、読み取って構造を判別する段階を経なければ、検索の対象になりません。この段階が文書AIの領域です。

第三に、品質の測り方が異なります。構造化データでは、欠落と重複を確認します。非構造化データでは、認識精度と構造の復元精度の両方を見る必要があります。文字を正確に読み取っても、項目の結び付きが誤っていれば、データは使えないからです。

2つの種類は対立するものではありません。非構造化データを処理する目的は、最終的には構造化データに変換して、既存のシステムに登録できるようにすることです。

業務文書を難しくする5つの要素

実際の受付文書に現れる5つの要素

第一に、形式がばらばらです。PDFや画像だけでなく、ハングルワープロ文書、オフィス文書、表計算ソフトのファイルが、1つの業務に混在して入ってきます。

第二に、状態が一定ではありません。ファックスで受け付けた低解像度のスキャン、床に置いて撮影したためしわや影が入った画像、何度も再送されてヘッダーが重なった文書が、一緒に届きます。

第三に、妨げとなる要素が多くあります。印鑑が表を侵し、取り消し線が文字を横切り、透かしが重なります。人にとっては自然に読めても、機械にとっては誤読の原因になります。

第四に、様式が変わり続けます。同じ申請書でも、支店や年度によって配置が異なり、官公庁の様式は定期的に改定されます。

第五に、1件が複数の文書で構成されています。1つの業務の件には、平均で6種類の書類が含まれ、書類同士の情報が一致しているかを照合して初めて、処理が完了します。

非構造化データを扱う実際の方法

読み取りと構造化を分けて設計します

非構造化データの処理は、2つの段階に分けます。まず文字、表、図を認識します。次に、それらが形成する構造と業務の項目を付与します。

このように分けておくと、問題が起きたときに原因を絞り込めます。文字が誤っていれば認識の問題であり、文字は正しいのに項目の結び付きがずれていれば、構造化の問題です。

目的に応じて出力を決めます

同じ文書であっても、何に使うかによって作るべき結果は異なります。業務システムに値を入力することが目的であれば、項目と値の組が必要です。検索や生成に使うのであれば、構造を保った形式や断片が必要です。

一度の分析で複数の出力を同時に作っておけば、後で活用方法が変わっても、原本を再度処理する必要はありません。

国内環境における非構造化データ

国内の公共機関や金融機関が持つ文書資産では、ハングルワープロ形式の割合が大きくなっています。この形式を元の形のまま処理できるかどうかが最初の関門であり、変換の過程で表の結合情報が失われると、回復する方法はありません。

受付の経路も条件になります。ファックスは今も使われており、支店でのスキャンや携帯電話で撮影した画像も混在しています。さらに、個人情報を含む文書が多いため、匿名化処理と社内ネットワーク内での運用が同時に求められます。

文書の状態も併せて確認します

非構造化データと聞くと、形式が決まっていないという点だけを思い浮かべがちです。しかし、実際の業務でより大きな変数は、文書の状態です。同じ様式であっても、どの経路で届いたかによって、処理の難易度は大きく変わります。

実際の受付箱には、スキャンの際に折れた上端が切れてしまった文書、コピーを繰り返すうちに余白や本文の一部が失われた文書、床に置いて撮影したためしわや影が入った文書、何度も再送されて日付の表示が重なったファックスが届きます。さらに、印鑑、取り消し線、透かし、手書きの文字も混ざっています。

そのため、導入を検討する際には、様式の一覧だけでなく、受付の経路ごとの文書の状態をまとめておくのがよいでしょう。きれいなサンプルで測定した値と、実際の受付箱の文書で測定した値は、異なって出ます。

よくある質問

テキストを含むPDFも非構造化データですか?

一般的にはそうです。文字は取り出せても、どの項目の値なのかが決まっていなければ、システムにそのまま登録することはできません。

データ全体のうち、どの程度の割合を占めますか?

企業が保有するデータの大部分がこれに当たると理解されています。組織によって異なるため、実際の文書資産を調査するのが最も正確です。

処理すれば構造化データになりますか?

それが目的です。認識と構造化を経て、項目と値の組に変換すれば、既存のシステムに登録できるようになります。

ハングルワープロ文書も処理できますか?

可能です。ただし、別の形式に変換する過程で表の構造が失われやすいため、元の形式をサポートしているかどうかを確認してください。

どこから始めるべきですか?

処理量が多く、反復的な業務を1つ選び、その業務に届く書類から整理するのがよいでしょう。全体の資産を一度に扱おうとすると、作業が進みません。

非構造化データとは、具体的にどのようなものを指しますか?

表の形に整理されていない文書、画像、ファックス、スキャンなどが該当します。企業が保有するデータの大部分がこの区分に入ります。

検証の際には何を準備すればよいですか?

様式の一覧と併せて、受付の経路ごとの文書の状態を整理してください。損傷した文書やファックスの文書を含めて初めて、実際の性能が明らかになります。

実際の受付文書を1種類だけお送りいただければ、構造化の結果をそのままご返信いたします。

お問い合わせ