枯渇するLLM学習データ、その答えはパースにある

3行まとめ

• 生成AIの発展は、「高品質な学習用データ」の不足という新たな壁にぶつかりました。

• 論文、ニュース、コードなど、クローズドなコンテンツをめぐるデータライセンス戦争が本格化しています。

• いまやAIの競争力は、どれだけ「良いデータ」を確保できるかにかかっています。

はじめに（用語解説）

LLM（Large Language Model）

大規模なテキストデータを学習し、人のように文章を書いたり質問に答えたりするAIです。GPT-4、Claude、Grokなどが代表例です。

データライセンス

特定のコンテンツを学習用に利用してよいと許諾を得る契約です。最近では、論文やニュース、書籍といった「良いデータ」の多くがライセンスの対象になっています。

オープンソースAI

誰もが使えるように公開されたAIモデルです。ただし本当に「オープン」なのか、つまり学習データまで公開されているのかについては、多くの議論があります。

AIはもう「拾ってくる」時代ではない

2022年ごろまで、ほとんどの生成AI企業はインターネット上に公開されたデータをかき集めていました。Wikipedia、ブログ、GitHub、Twitter、ニュースのコメント、オープンアクセス論文など「使えるものは使い尽くした」状況です。その結果、いまや新しい学習データを見つけることのほうが難しくなっています。

そこで登場した戦略が、まさに「データを買うこと」です。

主な事例

• OpenAI：報道機関、通信社、出版社と大規模なライセンス契約を締結

• Microsoft：Taylor & Francisと1,000万ドルの契約

• Wiley：論文の全文（full-text）をまるごとAI企業に販売、金額は2,300万ドル以上

このように「データ戦争」はすでに始まっており、その核心はただ一つです。「誰がより「良い文書」を持っているか」なのです。

私の論文も学習されたのだろうか

問題は、AIが「コピー」をしないという点です。AIは文章を丸暗記するのではなく、統計的に似た文章を「新しく生成」します。そのため法的にはグレーゾーンです。これを受けて最近では、「著作権トラップの文章」を仕込んでおき、AIが学習したかどうかを追跡する研究も登場しました。今後のニューヨーク・タイムズとOpenAIの訴訟の結果は、世界のAI学習規範を左右する可能性があります。

AIが論文を「自ら」書く時代

東京のスタートアップサカナAI（Sakana AI）は、AIが論文を最初から最後まで作成する自動化システムを実験しました。

• 研究アイデアの生成

• 実験の設計とコードの作成

• 結果の要約

• 論文の作成 → ジャーナルへの投稿

費用はわずか15ドル。テーマは「拡散モデル」「トランスフォーマー」「グロッキング」など、最新のML研究分野でした。

限界も明確でした

• ビジョン機能なし → 画像・表・レイアウトに対応できない

• 自動生成による誤りの可能性

• AI論文の過剰生成 → 学界の信頼低下への懸念

学習用の文書は、どう準備すべきか

AI企業は今や、学習データを「購入」したり、自分たちで「前処理」して使ったりしています。ここで重要になるのが、文書の構造をどれだけうまく把握し、加工できたかです。

韓国ディープラーニングのDEEP Parserとは

韓国ディープラーニングは、LLM学習に最適化された文書前処理ツール「DEEP Parser」を提供しています。従来のOCRが単純なテキストしか認識できなかった限界を超えて、文書の構造・階層・レイアウトまで認識し、LLM学習用に加工します。

👉 「良いデータ」を学習させることが重要なら、その前に「良い文書」をきちんと構造化するParserソリューションが必須です。

オープンソースは、本当に「オープン」なのか

最近、AIのオープンソースモデルが数多く登場しています。MetaのLlama、Mistral社のMistral、SamsungのGauss、LGのExaoneなど、さまざまなモデルが公開されました。しかし「オープンソース」の条件は、単にモデル構造の公開だけでしょうか。違います。学習データまで公開されて、はじめて本当のオープンソースです。

そのために登場したOMI（Open Model Initiative）

• Linux Foundationが主導

• モデルと学習データをともに公開

• Apache 2.0ライセンスに基づく

• コミュニティベースの協働を志向

📉 弱点は？GPUもデータもBig Techに依存しており、独立性を確保しにくいという点です。

MITがまとめた「AIリスクデータベース」

MITフューチャーテック・グループは、AIのリスクを構造化したAIリスクリポジトリ（AI Incident Database）を公開しました。

• 700件以上のリスク事例

• 発生時点・原因・意図による分類

• AIが学習後に発生させるリスクが65%

• システムが人間よりも大きなリスク要因（51%）

今後、AI政策の設計や倫理ガイドラインづくりの「基盤インフラ」になる可能性が高いです。

カリフォルニアのAI法案S.B. 1047、そして規制競争

ヨーロッパのAI法（EU AI Act）だけではありません。

米カリフォルニア州は、S.B. 1047というAI規制法案を提出しました。

この法案は今後、韓国のAI規制の枠組みづくりにも参考となる、重要な先例になるでしょう。

✍️ まとめ

• いまやAIモデルよりも、「学習データ」が競争力です。

• 高品質な学術コンテンツ、ニュース、表構造を含むレポートは、最も貴重な資産です。

• そして、こうした文書をうまく加工してくれる構造化ツールが必要です。

👉 韓国ディープラーニングのParserは、LLM学習用の文書構造化を、速く、正確に、コスト効率よく処理してくれるツールです。良いデータの出発点は、良い構造化ツールです。

🙋‍♀️ FAQ – よくある質問

Q1. 私が書いた論文が、AIに学習されている可能性はありますか。

A：あり得ます。論文が公開されていれば、AIがクローリングして学習した可能性があります。法的な判断は、現在進行中です。

Q2. オープンソースのAIモデルは安全ですか。

A：オープンソースであっても、学習データや学習方法が透明でなければ不完全です。学習の履歴が明確なモデルのほうが、より信頼されます。

Q3. 文書をAI学習用に準備するには、どうすればよいですか。

A：表や画像、キャプションまで含む文書であれば、Parserソリューションが必要です。韓国ディープラーニングのParserは、HTML/JSON形式へそのまま変換してくれます。

Q4. 論文や報告書も自動でパースされますか。

A：はい。特にPDFやHWPなど構造が複雑な文書も、視線の流れと階層を分析して精密に構造化します。

Q5. こうした構造化技術は、RAGやLLM学習に役立ちますか。

A：非常に重要です。文書のチャンキング、ベクトル化、プロンプト設計までParserが自動で支援するため、学習の品質が大きく向上します。

いま私たちにできること

• 研究者：自分のコンテンツが学習に使われうることを認識し、利用の有無を点検する

• 政府・企業：公共データを構造化し、オープンソースのエコシステムに貢献する

• 開発者：データの利用履歴と構造を明示した、透明性の高いAIモデルを開発する

• 市民社会：倫理に基づくAIエコシステムの構築に参加する

自社のためのAIソリューションを、今すぐ確認してみてください

→ 韓国ディープラーニングのAIソリューションを見る