用語集をすべて見る

導入と運用

チャンキングとは何か:文書を検索単位に分割する基準の完全ガイド

Korea Deep Learning作成

チャンキングとは、長い文書を検索と生成に適したサイズのチャンク(かたまり)に分ける作業であり、どこで区切るかによって、後で質問が入ったときに必要な箇所が見つかるかどうかが変わります。

区切る位置が回答の品質を変える理由

文の途中で切れると、意味が失われます。

文書を検索に使うには、そのまま丸ごと入れることはできないため、分割する必要があります。最も単純な方法は、文字数を数えて一定の長さごとに区切ることです。実装が容易で、チャンクのサイズもそろいやすい方法です。

問題は、文書が文字数に合わせて構成されているわけではない点にあります。表が途中で割れると、ヘッダーのあるチャンクと値だけのチャンクに分かれてしまいます。条項が2つのチャンクに分かれると、条件と例外が切り離されます。検索がそのうちの1つのチャンクだけを取り出した場合、モデルは半分の情報で回答を作ることになります。回答の品質が低い原因が、モデルではなくこの区切りの工程にあることも多くあります。

チャンキングの正確な定義:単純な分割とは何が違うのか

文字数による分割と構造ベースのチャンキングの3つの違い

第一に、基準が異なります。文字数による分割は、文字数を基準に区切ります。構造ベースのチャンキングは、節・項・表など文書の論理単位を基準に区切り、長さはその次の条件とします。

第二に、結果が異なります。文字数による分割はチャンクのサイズがそろいますが、内容が途切れます。構造ベースのチャンキングはチャンクのサイズがばらつきますが、各チャンクが一つの完結した意味を持ちます。

第三に、必要な前工程が異なります。文字数による分割はテキストさえあれば足ります。構造ベースのチャンキングでは、文書の構造が先に解析されている必要があります。そのため、チャンキングの品質は、その前段階である構造化の品質に左右されます。

2つの方式は代替関係にはありません。構造単位で分けたうえで、長すぎるチャンクだけを長さで分け直す組み合わせが実用的です。

チャンクを作るときに決めるべき5つのこと

設計に含まれる5つの決定

第一に、境界の基準です。節単位にするか項単位にするか、表は丸ごと残すかを、文書の種類ごとに決めます。

第二に、サイズの範囲です。小さすぎると文脈が不足し、大きすぎると無関係な内容が混ざります。実際の構成では、数千文字単位で分ける方式が使われています。

第三に、重なりの有無です。前後のチャンクを少しだけ重ねておくと、境界で切れた文の意味を補うことができます。

第四に、一緒に持たせる情報です。文書のタイトル、節のタイトル、ページ番号、施行日をチャンクごとに付けておくと、検索の精度と根拠の提示がどちらも向上します。

第五に、表の扱い方です。表は文章とは性質が異なり、そのまま残すと検索されないことがあります。要約の文を一緒に保存する方式が効果的です。

チャンキングの実際の適用方法

文書の種類ごとにルールを分けます

法令や告示のように条項構造がはっきりした文書、マニュアルのように節と項が階層をなす文書、公文書のように短く独立した文書、申告書類のように表が本文となる文書は、それぞれ異なる基準が適しています。

1つのルールで全体を処理すると、どこかで必ず問題が生じます。まず文書の種類を分類し、種類ごとのルールを適用するほうがよいでしょう。

構造化の結果を残し、チャンクだけを作り直します

チャンキングのルールは、運用しながら調整し続けることになります。構造化とチャンク分割を1つの処理にまとめてしまうと、ルールを変えるたびに文書を最初から解析し直す必要があります。

2つの工程を分け、構造化の結果を保管しておけば、チャンクのルールだけを変えて素早く試すことができます。

国内環境でのチャンキング

国内の公共文書には、多層の表、丸数字の項目番号、別表や書式が本文の間に挟まっている場合が多くあります。こうした要素を文章として扱って区切ると、チャンクが乱れます。

改定が頻繁に行われる点も条件になります。チャンクごとに施行日を付けておけば、改定された文書が入ってきたときに、以前のチャンクを検索の対象から外す処理を自動で行えるようになります。

チャンクの境界を文書の構造に合わせます

チャンク分割の基準として文字数を先に決めると、表や条項が途中で切れてしまいます。節や項などの文書の論理単位を先に境界として定め、長さはその範囲の中で調整する順序が安全です。

実務では3つのことを一緒に決めます。まず、どの単位を切ってはいけないかを決めます。表1つと条項1つは、丸ごと残すほうがよいでしょう。次に、前後のチャンクをどの程度重ねるかを決めます。境界で文が切れて意味が途切れる問題を減らすためです。最後に、チャンクごとにどの情報を付けるかを決めます。所属する節のタイトルと元のページ番号が付いていれば、検索されたチャンクだけでも文脈を把握できます。

ある公共機関の構築事例では、テキストを一定の長さの単位に分けたうえで、結果を並べ替える方式が使われました。ただし、この長さは文書の性質に合わせて調整する必要があり、表が多い資料では、長さよりも構造を優先するほうが結果がよくなります。

よくある質問

チャンクのサイズは何文字が適切ですか?

文書の性質によって異なります。長さよりも境界が重要なので、まず論理単位を決め、その中で長さを調整してください。

チャンクは重ねるべきですか?

境界で文が切れる問題を減らす効果があります。ただし、重なりが大きすぎると保存量と検索結果の重複が増えるため、適切な水準を見つけてください。

表はどのように分けますか?

構造を保ったまま1つのチャンクとし、所属する節の情報を一緒に付けるほうがよいでしょう。必要であれば、要約の文を補ってください。

ルールを変えたら、すべて再処理する必要がありますか?

構造化の結果を保管してあれば、チャンクだけを作り直せば済みます。2つの工程を分けて設計することをおすすめします。

チャンキングが正しく行われているかどうかは、どう確認しますか?

検索で返ってきたチャンクだけを読み、人がその質問に答えられるかを確認してみてください。前後の文脈を探さないと理解できないチャンクが多い場合は、基準を見直す必要があります。

表を含む文書はどのように分けますか?

行と列の関係が途切れると表の値の意味が失われるため、表全体を1つのチャンクとして残すほうが安全です。表が長すぎて分ける必要がある場合は、見出しの行を各チャンクに繰り返し入れてください。

検索に使われる文書を1種類だけお送りください。生成されたチャンクの結果をそのままご返信します。

お問い合わせ