導入と運用
RAG前処理とは何か: 回答の品質を決める文書準備の工程の完全ガイド
Korea Deep Learning作成
RAG前処理とは、検索拡張生成(RAG)に使う文書を、構造と意味が保たれるように分析して整理し、検索可能なチャンクに変換する事前作業です。モデルが根拠として使う資料の品質を、この段階で決める処理です。
RAG前処理が必要な理由
モデルを変えても回答が良くならないことがあります。
生成AIを導入した機関でよく聞かれる話があります。良いモデルを取り入れたのに、業務の質問には的外れな答えが返ってくるというものです。原因をたどると、モデルではなく、モデルに渡した資料にあることが多いのです。行政文書、マニュアル、法令がPDFや韓国語ワープロ文書として蓄積されており、そのファイルをそのままテキストとして抜き出して入れたことが原因です。
問題は、テキストだけを抜き出した瞬間に構造が消えてしまうことです。返却手続きを説明する文書で、国費と道費、残高と利息が多層のヘッダーに分かれた表があったとします。この表を文の羅列に展開すると、どの勘定がどの条件に当たるのかがわからなくなります。モデルは、この乱れた資料をもとにもっともらしい文章を作ります。回答の品質が低い原因の多くは、ここにあります。
RAG前処理の正確な定義: テキスト抽出とどう違うのか
テキスト抽出とRAG前処理、3つの軸での違い
第一に、対象が違います。テキスト抽出は、文書に書かれた文字を対象にします。RAG前処理は、文字に加えて、タイトルと本文の階層、表の行と列、図と説明の関係、脚注と本文のつながりまでを対象にします。文書を読むことではなく、文書の骨組みを一緒に移す作業です。
第二に、目的が違います。テキスト抽出の目的は、内容を漏れなく取り出すことです。RAG前処理の目的は、後で質問が入ったときに、まさにその箇所が検索されるように資料を配置することです。そのため、同じ文書でも、どのような質問を受けるかによってチャンクの分け方が変わります。
第三に、評価指標が違います。テキスト抽出は文字の正確さで測定します。RAG前処理は、最終的な回答の正確さで測定します。ある国税行政の検証では、文書と設問で構成した評価セットを作り、構造化と検索の品質を一緒に確認しました。前処理の段階だけを切り離して採点するのは難しいため、質問と正解の組をあらかじめ作っておく手続きが事実上必須になります。
2つの作業は代替関係ではありません。文字認識が不正確であれば、どれほどうまく分割しても、誤った内容が検索されます。認識の上に構造の復元を重ね、その上にチャンクへの分割を重ねる順序が正しいです。
回答品質を守るRAG前処理の6つの条件
実際の構築に必要なRAG前処理の6つの条件
第一に、構造を保った形式に変換する必要があります。タイトル、節、表、リスト、図の説明がそれぞれ何であるかの印が残っていなければ、検索の段階で活用できません。構造要素をタグで区別し、マークアップの形式と構造化データを一緒に生成しておくと、後の選択肢が広がります。
第二に、チャンクの境界を文書の論理的な単位に合わせる必要があります。文字数だけを基準に切ると、表が途中で切れたり、条項が2つのチャンクに分かれたりします。節の単位や表の単位を優先的に境界とし、長さはその次の条件とするほうが安全です。
第三に、表を別に扱う必要があります。表は文章とは性質が異なり、同じ方法で切って入れると検索がうまくいきません。表全体を1つのチャンクとして保ち、その表がどの節に属するかを一緒に付けておく構成が実用的です。
第四に、メタデータを一緒に載せる必要があります。文書のタイトル、発行機関、施行日、改定の履歴、原文のページ番号がチャンクごとに付いていれば、回答に根拠を示せます。根拠を示せない回答は、業務で使われません。
第五に、個人情報を非識別化する必要があります。公共データを検索の用途に移すときは、個人を特定できる項目を隠したり置き換えたりする処理が、ほぼ前提条件になります。この作業はチャンクを作る前に行う必要があります。そうしないと、検索インデックスに元の値が残ってしまいます。
第六に、評価セットを先に作る必要があります。前処理の方式を変えたときに改善されたのか悪化したのかを判断するには、同じ質問で比較できる基準が必要です。数百件規模の評価セットを初期に構築しておくと、その後の改善を測定できる作業になります。
RAG前処理の実際の適用方法
文書の資産をまず分類します
プロジェクトの最初の作業は、変換ではなく対象文書の性質の把握です。条項の構造がはっきりした法令や告示、節と項が階層をなすマニュアル、短く独立した公文書、表が本文である申告書の書式は、それぞれ異なる方法で分ける必要があります。
ある広域自治体の構築事例では、行政文書を構造化したうえで、テキスト、表、画像に分け、マークアップと構造化データ、チャンクとキーワードを一緒に生成して、ナレッジリポジトリに格納する流れで設計されました。文書を1度変換して複数の成果物を作っておけば、後で検索の方式が変わっても、元の文書を再び処理する必要がありません。
構造化とチャンク分割を分けます
構造化とチャンク分割を1つの処理にまとめると、チャンクのサイズを調整するたびに文書を解析し直さなければなりません。2段階に分けておけば、構造化の結果はそのままにして、チャンクの規則だけを試せます。
実際の構成では、文書を変換して構造データを作り、そのうえで一定の長さの単位にテキストを分割し、結果を並べる方式が使われます。このとき、前後のチャンクを少しずつ重ねておくと、文が境界で切れて意味が途切れる問題を減らせます。
韓国環境でのRAG前処理
韓国の公共文書資産のかなりの部分は、韓国語ワープロ形式で蓄積されています。この形式を原本のまま処理できるかどうかが、最初の関門になります。別の形式に変換する過程で表の結合情報が失われると、その後の段階でそれを回復する方法がありません。
文書そのものにも特徴があります。公文書、マニュアル、法令、報告書が1つのリポジトリに混在しており、官公庁の書式に特有の多層の表、丸付き数字の項目番号、表を侵す印鑑が一緒に入ってきます。韓国の公共文書では改定も頻繁に行われるため、最新版の管理と変更履歴の追跡を、前処理段階の要件として設定しておくとよいでしょう。
さらに、ネットワーク分離の環境では、外部の埋め込みサービスの呼び出しが制限されます。文書の変換からチャンクの生成、埋め込みまでを、社内ネットワーク内で行える構成かどうかを確認する必要があります。
チャンクと原本を結び付けておきます
検索されたチャンクだけで回答を作ると、利用者が根拠を確かめる方法がありません。チャンクごとに、元のファイル、ページ番号、文書内の位置を一緒に保存しておけば、回答に出典を付けられます。
このつながりは業務で特に重要です。行政担当者が政策情報を照会するときに必要なのは、回答の文章だけではなく、その根拠がどの指針の何ページにあるかです。原本を開いて確認できてはじめて、回答を根拠に決裁を上げられます。
実装する際は、チャンクを作るときに割り当てた識別子を、インデックスと原本リポジトリの両方で使う方式が単純です。後で原本が差し替えられても、どのチャンクが影響を受けるかを追跡できます。
文書が改定されたらチャンクも更新します
公共と金融の文書資産は改定が頻繁です。指針が変わり、書式が改定され、法令が施行日に合わせて分かれます。原本は変わったのにインデックスがそのままだと、モデルは廃止された規定を根拠に回答してしまいます。
そのため、前処理のパイプラインには更新の経路が一緒に必要です。新しいバージョンが入ってきたら、その文書のチャンクを探して差し替え、以前のバージョンは削除するか、施行期間を表示して検索の対象から外します。文書に施行日と廃止日をメタデータとして付けておけば、この処理は自動で行えます。
全体を毎回処理し直す方式は、文書量が増えるほど手に負えなくなります。変更された文書だけを選んで処理する構造を、最初から設計しておくことをお勧めします。
検索の失敗事例を集めてフィードバックします
前処理の品質は一度で完成するものではありません。実際の質問が入り始めると、予想しなかった失敗が見えてきます。
最も多いパターンは3つです。質問に使われた表現と文書の表現が異なるため検索されない場合、関連する内容が複数のチャンクに散らばっていて1つしか検索されない場合、表に含まれる情報が文の形の質問と合わない場合です。
こうした失敗事例を集めておくと、対応の方向性が見えてきます。表現の違いはチャンクにキーワードを付けて解決し、散らばった内容はチャンクの境界を引き直して解決し、表には要約文を一緒に保存して解決します。失敗事例が積み重なるほど評価セットも厚みを増すため、改善の根拠と測定の基準が一緒に育っていきます。
よくある質問
回答の品質が低いとき、モデルを変えれば良くなりますか?
多くの場合、良くなりません。原因は、前処理の段階で文書の構造が損なわれていることにある場合が多いのです。まず、検索されたチャンクが質問と合っているかを確認するほうが速いでしょう。
チャンクは何文字に分けるのがよいですか?
文書の性質によって異なります。長さよりも境界が重要なので、まず節や表の単位を決め、長さはその中で調整してください。
表の多い文書も検索に使えますか?
使えます。表を文章に展開せず、構造を保ったまま1つのチャンクとして残し、所属する節の情報を一緒に付ける方式が効果的です。
韓国語ワープロ文書も処理できますか?
可能です。ただし、変換の過程で表の構造が失われやすいため、原本の形式をそのまま処理できるかどうかを確認してください。
個人情報を含む文書はどうすればよいですか?
チャンクを作る前に、非識別化の処理を先に行います。インデックスを作った後で処理すると、検索結果に元の値が残るおそれがあります。
文書が改定されたら、インデックスをすべて作り直す必要がありますか?
いいえ。変更された文書のチャンクだけを探して差し替える構造で設計すれば十分です。文書に施行日と廃止日をメタデータとして付けておけば、以前のバージョンを検索の対象から自動的に外せます。
表と文章を同じインデックスに入れてもよいですか?
可能ですが、表には要約文を一緒に保存することをお勧めします。表は文の形の質問とは形式が異なるため、そのままだと検索されないことがあります。
前処理の品質はどのように測定しますか?
質問と正解で構成した評価セットを作って測定します。ある検証事例では、対象文書を定めたうえで設問を準備し、構造化と検索の品質を一緒に確認しました。
検索に使う文書を1種類だけお送りいただければ、構造化とチャンク生成の結果をそのまま返信いたします。
お問い合わせ



