大規模言語モデル（LLM）は高い性能を持つ一方で、モデルサイズが非常に大きく、実運用ではメモリ使用量と推論レイテンシが大きな課題になります。

大規模言語モデル（LLM）が文章を生成するとき、内部では次に出すべきトークン候補に対して確率分布（Probability Distribution）を作り、その中から一つを選び続けています。

大規模言語モデルの議論では、しばしば「モデルは大きいほど強い」という見方が前面に出ます。

ベクトル検索や埋め込み活用を学び始めると、かなり早い段階で出会うのが「コサイン類似度とユークリッド距離は何が違うのか」という問いです。

検索拡張生成は、小さく始める段階では非常に魅力的に見えます。数千件から数万件ほどの文書を用意し、埋め込みを作り、ベクトル検索で関連文書を取得し、大規模言語モデルへ渡して回答を生成する。

生成AI、意味検索、推薦、画像検索、検索拡張生成の広がりによって、データを「完全一致」で探すのではなく、「意味が近いもの」や「特徴が似ているもの」を探す仕組みが、実務の中で急速に重要になっていま