RAGは、検索と生成を組み合わせることで、単体の大規模言語モデルでは扱いにくい最新情報や社内知識、ドメイン固有情報を活用できる仕組みとして広く使われるようになっています。しかし、実務でRAGを導入すると、多くの現場で最初に表面化する問題の一つがレイテンシです。検索を挟まない単純な生成であれば、入力を与えてそのまま応答を返す流れで済みますが、RAGでは問い合わせの前処理、埋め込み生成、検索、再ランキング、文脈構築、最終生成という複数段階が追加されます。そのため、個々の処理が少しずつ重なるだけでも、体感上の遅さは想像以上に大きくなります。

検索システムを設計したり評価したりするとき、多くの人はまず「正しい文書が見つかるかどうか」に注目します。しかし、検索という処理は単に文書を探し当てるだけの単純な操作ではありません。利用者がどのような言葉で質問するのか、文書側がどのような表現で情報を保持しているのか、どの程度のレイテンシが許されるのか、なぜその結果が返ってきたのかを説明できる必要があるのか、といった条件によって、最適な検索手法は大きく変わります。つまり、検索は常に「何を探すか」だけでなく、「どのように探すか」を同時に問う技術です。その中でも、近年特に比較対象として語られることが多いのが、疎ベクトル検索と密ベクトル検索です。

大規模言語モデルについて調べ始めると、早い段階で「事前学習」と「ファインチューニング」という言葉に出会います。ただし、この二つはどちらも学習の一種であるため、表面的には似たものに見えやすく、違いが曖昧なまま使われることも少なくありません。けれども、実際にはこの二つは役割も、目的も、必要なデータも、かかる計算資源もかなり異なっています。しかも、その違いは単なる技術用語の整理にとどまらず、モデルをどう作るのか、どう改良するのか、どのくらいの費用でどこまで実現できるのか、といった実務判断そのものに直結します。つまり、事前学習とファインチューニングの違いを理解することは、モデルの仕組みを知るためだけでなく、現実的な設計や導入の判断力を持つためにも重要です。

大規模言語モデルについて学び始めると、まず注目されやすいのは対話性能や文章生成の自然さです。実際、利用者の目に見える価値は、質問に答えられること、文章を要約できること、あるいは指示に沿って自然な出力を返せることにあります。しかし、その見えている性能は、いきなり後段の調整だけで成立しているわけではありません。モデルがそうした振る舞いを取れるようになる前に、非常に大きな土台作りの工程が存在します。それが事前学習です。事前学習は、単に学習の最初に行う作業という意味ではなく、モデルが言語をどのように理解し、どの程度まで汎用的に扱えるかを決める中心工程として位置づけるべきものです。

また、事前学習を正しく理解すると、大規模言語モデルの性能差をどこで見るべきかも見えやすくなります。後から行う微調整や指示追従の工程はたしかに重要ですが、それらが効きやすいかどうかは、事前学習によってどれだけ豊かな基盤能力が形成されているかに強く依存します。つまり、事前学習は表に見えにくい工程でありながら、実際にはモデルの性格そのものを形作っている部分です。本記事では、この事前学習とは何かという基本から、自己教師あり学習の仕組み、コーパス設計、トークン化、スケーリング則、計算資源、限界、そして実務での位置づけまでを、つながりを意識しながら順に整理していきます。

大規模言語モデル（LLM）は高い性能を持つ一方で、モデルサイズが非常に大きく、実運用ではメモリ使用量と推論レイテンシが大きな課題になります。たとえば、モデルをそのまま高精度の浮動小数点形式で保持すると、GPUメモリやメインメモリの消費が大きくなり、単純に「試してみる」だけでも環境要件が重くなりがちです。さらに、推論時には大量の重みを読み出して計算し続ける必要があるため、計算そのものの速度だけではなく、メモリ帯域やハードウェア資源の制約が全体の応答速度に強く影響します。つまり、LLMではモデルそのものの賢さだけではなく、それをどの精度で保持し、どの形で実行するかが、実用性を大きく左右します。

実務で大規模言語モデル（LLM）を使おうとすると、多くのチームが早い段階で同じ壁にぶつかります。汎用モデルは非常に高い汎用性を持っている一方で、自社固有の業務知識、社内用語、独自ルール、望ましい応答スタイルまではそのままでは十分に扱えないことが多いからです。たとえば、社内FAQに正確に答えてほしい、法務文書の社内ルールに沿って返してほしい、問い合わせ対応で自社の言い回しに合わせてほしい、あるいはコード生成で特定の実装規約に寄せてほしい、といった要求が出てきます。このとき現場では、「モデルに業務ドメインを理解させたい」という同じ目的に対して、主に二つの選択肢が浮かびます。それがファインチューニングとRAGです。

大規模言語モデル（LLM）が文章を生成するとき、内部では次に出すべきトークン候補に対して確率分布（Probability Distribution）を作り、その中から一つを選び続けています。この「どう選ぶか」は、モデルの性能そのものと同じくらい、出力品質を大きく左右します。たとえば、常にもっとも確率の高いトークンだけを選ぶ Greedy Search では、文としては安定しやすい一方で、同じ言い回しを繰り返したり、表現が単調になったりしやすくなります。特に長めの文章生成や創造性が求められる用途では、出力が早い段階で硬直し、結果として不自然な反復や多様性の欠如が起こることがあります。

大規模言語モデルの議論では、しばしば「モデルは大きいほど強い」という見方が前面に出ます。実際、パラメータ数を増やすことで表現力が広がり、より複雑な言語パターンや知識の関係を学習しやすくなるのは確かです。しかし、実際のモデル開発や運用の現場では、その直感だけで設計を進めるとすぐに限界へぶつかります。モデルを大きくしたのに期待したほど性能が伸びない、学習コストだけが急激に上がる、十分なデータが用意できず巨大モデルを活かしきれない、推論コストが高すぎて実用化しにくい、といった問題が次々に現れるからです。つまり、LLM開発では「どこまで大きくするか」以上に、「何をどの比率で増やすか」のほうが重要になります。

ベクトル検索や埋め込み活用を学び始めると、かなり早い段階で出会うのが「コサイン類似度とユークリッド距離は何が違うのか」という問いです。どちらもベクトル同士の近さを測る代表的な指標であり、検索、推薦、分類、まとまり分けなど幅広い場面で使われています。そのため、見た目には似た役割を持っているように感じられます。しかし実際には、両者が見ているものはかなり異なります。コサイン類似度はベクトルの向きの近さを見ており、ユークリッド距離は空間上での位置の差を見ています。この違いを曖昧なまま理解していると、埋め込み検索で不自然な検索結果が出たときに理由が分からなかったり、距離関数の選定を感覚で済ませてしまったりしやすくなります。

検索拡張生成は、小さく始める段階では非常に魅力的に見えます。数千件から数万件ほどの文書を用意し、埋め込みを作り、ベクトル検索で関連文書を取得し、大規模言語モデルへ渡して回答を生成する。この流れは試作段階では比較的素直に動きやすく、少人数の開発体制でも価値検証までたどり着きやすいです。特に、社内向けのナレッジ検索、FAQ支援、問い合わせ補助のような用途では、最初の段階で「かなり使えそうだ」という感触を得やすく、検索拡張生成は導入効果が見えやすい仕組みだと言えます。しかし、その状態のままデータ件数が増え、利用者が増え、更新頻度が上がり、本番での安定運用が求められるようになると、途端に別の難しさが前面に出てきます。試作では問題にならなかった待ち時間が利用者体験を損ねるようになり、同時アクセスが増えると処理が詰まり、文書更新が頻繁になるとインデックス更新や整合性維持が負担になり、さらに費用と品質の両方を維持し続けることが難しくなっていきます。