チャンキングとは何か：どこで切るかが検索結果を決める理由の完全整理

チャンキングとは、長い文書を検索と生成に適した大きさの断片へ分ける作業であり、どこで切るかによって、後で質問が来たときに必要な箇所が見つかるかどうかが変わります。

文の途中で切れると意味が消える

文の途中で切れると意味が消えます。

文書を検索に用いるにはまるごと投入できないため分ける必要があります。最も簡単な方法は文字数を数えて一定の長さごとに切ることです。実装が容易で、断片の大きさも均一に出ます。

問題は文書が文字数どおりに構成されていないという点にあります。表が途中で分かれれば、ヘッダーのある断片と値だけの断片が別々に生じます。条項が二つの断片に分かれれば、条件と例外が離れます。検索がそのうち一方の断片だけを見つけてくれば、モデルは半分の情報で答えを作ります。回答品質が低い原因がモデルではなくここにある場合が少なくありません。

チャンキングの正確な定義：長さ分割と何が違うのか

長さ分割と構造ベースのチャンキング、三つの軸の違い

第一に、基準が異なります。長さ分割は文字数を基準に切ります。構造ベースのチャンキングは節や項、表といった文書の論理単位を基準に切り、長さはその次の条件として置きます。

第二に、結果が異なります。長さ分割は断片の大きさが均一である一方、内容が途切れます。構造ベースのチャンキングは断片の大きさが不揃いになる一方、それぞれの断片が一つの完結した意味を持ちます。

第三に、必要な先行作業が異なります。長さ分割はテキストさえあれば足ります。構造ベースのチャンキングは文書の構造がまず分析されている必要があります。したがってチャンキングの品質は、前段である構造化の品質に左右されます。

二つの方式は置き換えの関係にはありません。構造の単位で分けた後、長すぎる断片だけを長さで再び分ける組み合わせが実用的です。

設計に入る5つの決定

設計に入る5つの決定

第一に、境界の基準です。節の単位か項の単位か、表はまるごと保つかを文書の種類ごとに定めます。

第二に、大きさの範囲です。小さすぎれば文脈が不足し、大きすぎれば関係のない内容が混ざります。実際の構成では数千字の単位で分ける方式が用いられます。

第三に、重ねるかどうかです。前後の断片を少しずつ重ねておけば、境界で切れた文の意味が補われます。

第四に、併せて載せる情報です。文書の表題と節の表題、ページ番号、施行日を断片ごとに付けておけば、検索の精度と根拠の提示がいずれも良くなります。

第五に、表の処理方式です。表は文章と性質が異なり、そのままにすると検索されない場合があります。要約の文章を併せて保存する方式が効果的です。

チャンキングの実際の適用方法

文書の種類ごとに規則を分けます

法令や告示のように条項の構造が明確な文書、手引きのように節と項が階層を成す文書、公文のように短く独立した文書、申告様式のように表が本文である文書には、それぞれ異なる基準が適します。

一つの規則で全体を処理すれば、いずれかで必ず問題が生じます。文書の種類をまず分類し、種類ごとの規則を適用するほうが適切です。

検索の失敗事例から規則を直します

チャンキングの規則は一度で完成しません。実際の質問が入り始めると、予想しなかった失敗が明るみに出ます。

最も多い型は三つです。関連する内容が複数の断片に散らばって一つだけ検索される場合、表に含まれた情報が文章の形の質問と合わない場合、そして断片が小さすぎて文脈を欠く場合です。それぞれ境界の見直し、表の要約の追加、大きさの調整で対応します。失敗の事例を集めておけば、規則を直す根拠と評価の基準が同時に育ちます。

国内環境におけるチャンキング

韓国の公共文書は改定が頻繁で、施行日を基準に版が分かれます。断片に施行日と改定履歴を併せて載せておけば、廃止された規定が検索されることを防げます。

文書の形式も条件になります。韓国製ワープロ文書の表は変換の過程で結合の情報が失われやすく、失われた状態で分ければ表の断片が意味を持ちません。構造化の段階で形式を原本のまま扱えるかが、結局チャンキングの品質を決めます。

よくあるご質問