Feature Pyramid Network（FPN）とは？構造・役割・効果・実装時の注意点を整理

物体検出やセグメンテーションを学んでいくと、モデルの性能は単にバックボーンの深さだけでは決まらないことが分かってきます。実際には、画像の中に存在する大小さまざまな対象を、どの解像度の特徴で、どれだけ意味の強い状態で扱えているかが大きく影響します。大きな物体であれば深い層の粗い特徴でも捉えやすい一方、小さな物体や細い境界は高解像度の情報がなければ不安定になりやすくなります。しかし、高解像度の特徴だけを使えばよいわけではなく、今度は意味の強さが不足しやすくなります。つまり、ビジョンタスクでは、解像度と意味抽象度をどう両立させるかが本質的な問題になります。

Feature Pyramid Network、いわゆる FPN は、この問題に対して非常に実用的な答えを与えた設計です。FPN は、異なる段階の特徴をただ並べて使うのではなく、深い層にある意味的に強い情報を上から下へ戻しながら、浅い層が持つ細かな位置情報と結び付けることで、複数スケールで使いやすい特徴群を作ります。ここで重要なのは、FPN の目的が単に特徴マップを増やすことではなく、各スケールで意味の質をある程度そろえた特徴表現を用意することにある点です。この設計思想が、物体検出でもセグメンテーションでも強く効きます。

また、FPN は特定の単独モデルというより、現代的なビジョンモデルの中で繰り返し使われる「マルチスケール特徴設計の基本形」として理解したほうが自然です。RetinaNet や Faster R-CNN 系、Mask R-CNN 系をはじめ、多くのモデルが FPN 的な構造を土台にしています。つまり FPN は、一つの有名な部品というだけでなく、「画像内のスケール差をどう吸収するか」という問題に対する基本的な発想そのものだと言えます。

この記事では、Feature Pyramid Network とは何か、なぜ必要なのか、どのような構造で動き、どのような場面で強く、どこに限界があるのかを、10 個の大見出しで順に整理していきます。FPN を名前だけで覚えるのではなく、マルチスケール特徴を考えるときの基本的な見方として理解できる状態を目指します。

1. Feature Pyramid Network（FPN）とは

Feature Pyramid Network（特徴ピラミッドネットワーク）とは、異なる解像度を持つ複数段階の特徴マップを、意味情報と空間情報の両方を保ちながら再構成し、物体検出やセグメンテーションで使いやすいマルチスケール特徴を作るためのアーキテクチャです。もっと直感的に言えば、深い層にある「何であるかを判断しやすい特徴」と、浅い層にある「どこにあるかを細かく表しやすい特徴」を、複数の解像度にわたってつなぎ直す仕組みです。したがって、FPN の本質は単なる多層出力ではなく、各レベルの特徴が下流タスクで使いやすいように意味の質を整えることにあります。

通常の CNN バックボーンでは、浅い層から深い層へ進むにつれて特徴マップの解像度は落ち、代わりに意味抽象度は上がっていきます。この構造自体は画像分類には非常に合理的ですが、検出やセグメンテーションではそのままでは不十分になりやすいです。深い層は意味的に強くても空間的に粗く、小物体や境界の細部に弱くなります。浅い層は高解像度で細かい位置を持ちますが、意味の判別力が弱くなりがちです。FPN は、この自然に生じる役割差をそのままにせず、階層構造を再編集することで、複数の尺度に対してより均質で扱いやすい特徴を作ろうとします。

このため、FPN は「何を予測するか」を直接決めるヘッドではなく、「予測しやすい特徴をどう作るか」に関わる中間構造として見るべきです。ここを理解しておくと、なぜ FPN が検出器・分割器の両方で広く使われるのかがかなり見えやすくなります。FPN は一つのモデルの固有名ではなく、マルチスケール表現の基本設計そのものなのです。

2. FPN が必要になる理由

FPN が必要になるのは、画像内の対象がそもそも多様なスケールで現れるからです。実際の画像では、大きな人物と遠くの小さな人物が同時に写ることもあれば、同じカテゴリでもフレーム内で見かけのサイズが大きく変わることがあります。物体検出では、単に「物体がある」だけでなく、その位置や大きさを正確に扱う必要があるため、サイズ差の問題はより深刻になります。セグメンテーションでも、大きな領域の文脈理解と、細部の境界保持を同時に満たさなければならないため、やはりマルチスケール性が重要になります。

ここでポイントになるのは、通常のバックボーンが自然に作る多段階特徴は、そのままでは各レベルの性質差が大きすぎるということです。浅い層は高解像度で細かいけれど意味が弱く、深い層は意味が強いけれど粗い。この差をそのまま下流タスクに押し付けると、検出ヘッドやマスクヘッドの側でかなり無理をしなければなりません。FPN はこの問題に対して、特徴の段階そのもので意味と解像度のバランスを整えておくことで、下流側の負担を減らします。

2.1 物体の大きさが画像内で大きく変わる

画像中の対象サイズのばらつきは、検出モデルにとって非常に大きな難しさです。近景にある物体は大きく写るため比較的扱いやすい一方、遠景や密集シーンでは同じカテゴリの対象でも非常に小さくなります。モデルが単一解像度の特徴に強く依存していると、あるサイズ帯には強くても別のサイズ帯では急に弱くなることがあります。これはモデルの賢さの問題というより、どのレベルの特徴を使っているかの問題です。

FPN はこのサイズ差を特徴設計の段階で吸収しやすくします。各解像度である程度意味のそろった特徴を用意することで、小さな対象は高解像度側で、大きな対象は低解像度側で、比較的自然に扱えるようになります。つまり、FPN は「一つの特徴で全部を見る」のではなく、「複数の特徴レベルで、それぞれに合ったサイズ帯を見る」という設計を可能にします。

2.2 深い層だけでは小物体に不利になりやすい

深い層は受容野が広く、クラス識別に有利な特徴を持ちやすい一方で、特徴マップの解像度が下がるため、小物体や細い構造に対して不利になりやすくなります。もともと画像上で占める面積が小さい対象は、深い層へ到達するころには形状や位置の情報が曖昧になりやすく、背景との区別も難しくなります。つまり、意味は強くても、その意味を正しい位置へ結び付けるのが難しくなるのです。

しかし浅い層だけに頼ればよいわけでもありません。浅い層は高解像度ですが、意味の抽象度が低く、局所的なテクスチャやエッジには強くても、「それが何か」を判別するには不十分なことがあります。FPN は、深い層の意味を浅い層側へ戻すことで、この不均衡を緩和します。高解像度でありながら意味の強さも持つ特徴を作ることができるため、小物体や細部の扱いが改善しやすくなります。

2.3 セグメンテーションでは文脈と境界の両立が必要になる

セグメンテーションでは、領域全体のクラスを正しく判断するための大域文脈と、境界をきれいに切るための高解像度情報の両方が必要です。たとえば道路全体のような大きな領域を理解するには深い層の文脈が役立ちますが、人の輪郭や細い物体の端を正確に扱うには浅い層の空間情報が必要になります。どちらか一方だけでは、意味だけ正しいが境界が粗い、あるいは境界だけ細かいが意味が不安定、という片寄った結果になりやすくなります。

FPN 的な構造は、この両立にかなり相性が良いです。深い層の意味を上から戻しながら、浅い層の位置情報を横から受け取ることで、広い文脈と局所境界を同時に持つ特徴を作りやすくなるからです。つまり、FPN は小物体対策だけの技術ではなく、異なる種類の視覚情報を複数レベルで整えるための一般的な設計として理解したほうがよいです。

3. FPN の全体構造

FPN の全体構造は一見すると簡潔ですが、かなりよく整理された考え方に基づいています。通常の CNN バックボーンが持つ bottom-up の特徴抽出経路をそのまま利用し、その上に top-down 経路と lateral connection を重ねることで、多段階特徴を“使いやすい形”へ作り直します。ここで重要なのは、FPN が新しいバックボーンを作るのではなく、既存の階層構造を再配線して意味の配分を変えることにあります。つまり、FPN は特徴抽出そのものを置き換えるというより、抽出済みの特徴を再編集しているのです。

この構造の美しさは、通常のバックボーンが持つ弱点を、その長所を保ったまま補っていることにあります。深い層の抽象性は捨てず、浅い層の高解像度も捨てず、その間に上から戻す経路と横から結ぶ接続を置くことで、各レベルの特徴を整え直します。結果として、単なる浅い特徴群でも深い特徴群でもなく、各解像度で意味と位置が両立しやすいピラミッドが得られます。

3.1 Bottom-up 経路は通常のバックボーンである

FPN の土台になるのは、ResNet などの通常の CNN バックボーンです。この bottom-up 経路では、画像から段階的に特徴が抽出され、空間解像度は下がり、意味の抽象度は上がっていきます。つまり、FPN のために特別な下向き特徴抽出器を用意するのではなく、もともとバックボーンが持っている階層的特徴をそのまま利用します。

この性質は実務上かなり重要です。なぜなら、既存の強力なバックボーンを壊さずに、FPN を後付けしやすいからです。FPN が多くのモデルで再利用されるのは、この「既存構造の上に載せやすい」という拡張性の高さにも支えられています。

3.2 Top-down 経路は深い意味を高解像度へ戻す

FPN の中心にあるのが top-down 経路です。ここでは深い層の特徴をアップサンプリングしながら、より高解像度の段へ戻していきます。この操作の目的は、単なるサイズ合わせではありません。深い層にしかなかった強い意味情報を、より細かな空間解像度を持つ側へ届けることにあります。

もしこの top-down がなければ、浅い層はずっと高解像度だが意味が弱いままです。FPN はそこへ深い意味を流し込むことで、浅い層の“弱さ”を補います。つまり、深い特徴の価値をより広いスケールへ再配分しているのです。

3.3 Lateral connection は浅い細部と深い意味を結ぶ

top-down 側の特徴だけでは、解像度が合っても、元の浅い層が持っていた細かな位置情報を十分に活かしきれないことがあります。そこで lateral connection が入ります。これは、同じ解像度を持つ bottom-up 側の特徴と top-down 側の特徴を横方向につなぎ、両者を融合する仕組みです。

この接続によって、浅い層の高解像度情報と、深い層から戻ってきた意味情報が同じレベルで出会います。FPN の強みはここにあり、どちらか一方だけでは得にくい“意味のある高解像度特徴”を作りやすくなります。

3.4 最終的には意味のそろった特徴ピラミッドを得る

FPN の最終出力は、複数解像度を持つ特徴マップ群です。ただし、それらは単にサイズが違うだけの特徴ではありません。各レベルである程度意味的にそろえられた特徴になっているため、検出ヘッドやセグメンテーションヘッドがレベルごとの差を扱いやすくなります。

この点が、元のバックボーンの中間特徴をそのまま並べる場合との決定的な違いです。FPN は多層出力ではありますが、本質的には「意味をそろえた特徴ピラミッド」を提供する構造だと理解したほうが正確です。

4. FPN の処理フロー

FPN は構造図だけ見ると分かった気になりやすいですが、実際には「どの順番で何をしているか」を処理フローとして理解したほうがずっと整理しやすくなります。FPN では、まずバックボーンから複数段階の特徴を取り出し、その後で深い層から高解像度側へ意味を戻し、同じ解像度の浅い特徴と融合し、それぞれを整形して最終的なピラミッド出力を作ります。つまり、一度抽出した特徴を、そのまま使うのではなく編集し直しているわけです。

この見方は重要です。FPN は新たな視覚情報を追加しているのではなく、すでにバックボーンが持っている情報を「どのレベルにどう配るか」を再設計しています。だから、FPN の処理は計算上は比較的シンプルでも、表現としてはかなり大きな違いを生みます。特に、小さい対象や境界の細部に対して効くのは、この“再編集”があるからです。

4.1 多段階特徴を取り出す

まずバックボーンの各段階から特徴マップを取り出します。浅い層では解像度が高く、深い層では意味が強いという、もともとの階層性がそのまま現れています。ただし、この段階では各レベルの性質差が大きく、下流タスクがそのまま使うにはやや不均質です。

つまり、ここで得られるのは「マルチスケールな素材」であって、まだ「マルチスケールに整った特徴」ではありません。FPN はここから始まります。

4.2 深い特徴をアップサンプリングして戻す

次に、深い層の特徴をアップサンプリングし、より高解像度側へ意味を戻していきます。この操作によって、深い層にだけ存在していた抽象的な意味情報が、高解像度の特徴マップにも広がります。ここでのポイントは、解像度だけ大きくするのではなく、意味の強さを空間的に細かいレベルまで持ち込むことです。

これがあることで、浅い層の「細かいが意味が弱い」という状態がかなり改善されます。つまり top-down 経路は、FPN における意味伝播の中心です。

4.3 同解像度の特徴を融合する

アップサンプリングされた特徴は、同じ解像度の bottom-up 側特徴と lateral connection を通じて融合されます。ここで浅い層の持つ位置情報や局所構造が再び活きてきます。深い層の意味情報だけでは粗く、浅い層の細部だけでは意味が弱い。その両者を同解像度で結び付けることによって、下流で扱いやすい特徴が作られます。

この融合は、FPN を単なるアップサンプリング構造ではなく、意味と位置のバランスを整える構造にしている重要部分です。

4.4 各レベルを整形して出力する

融合後の特徴は、通常は追加の畳み込みなどで整えられてから出力されます。こうすることで、融合によって生じた表現を安定させ、各レベルの特徴をより均質に扱いやすくできます。最終的には、複数解像度を持ちながら、ある程度意味の強さがそろった特徴群が得られます。

この出力が、検出ヘッドやセグメンテーションヘッドへ入力されます。つまり FPN の処理フロー全体は、「素材としての多段階特徴」を「使える特徴ピラミッド」に変える工程として理解するとかなり分かりやすいです。

5. FPN が物体検出で効く理由

FPN が物体検出で強く効くのは、検出タスクそのものがスケール差に非常に敏感だからです。分類なら対象が画像全体の中心に大きく写っていることも多いですが、検出では小さな対象、大きな対象、密集対象、部分的にしか見えていない対象などを一つのモデルで同時に扱わなければなりません。そのため、特徴のスケール選択が性能へ直結します。FPN は、各スケールに対して使いやすい特徴を用意することで、検出器全体にとってかなり自然な土台になります。

さらに、FPN の価値は単にサイズ対応だけではありません。各レベルの特徴が意味的にある程度そろうことで、検出ヘッドが「どのレベルで何を担当するか」を学びやすくなります。つまり、FPN は精度を上げるだけでなく、検出器の学習構造そのものを整理しやすくする役割も持っています。

5.1 小さい物体を扱いやすくなる

小さい物体は深い層で表現が潰れやすいため、通常のバックボーンだけでは見落とされやすくなります。FPN は、高解像度側の特徴にも深い意味を戻すことで、小さい物体が「細部はあるが意味が弱い」状態に留まるのを防ぎやすくします。そのため、小物体検出性能を底上げする基本手段として非常に有効です。

ただし、極端に小さい対象や密集シーンでは、FPN だけで十分とは限りません。入力解像度やラベル品質、ヘッド設計も同時に重要になります。それでも、特徴表現の段階で小物体不利を緩和するという意味で、FPN の価値は非常に大きいです。

5.2 大きい物体も自然に扱える

FPN は小物体向けだけの設計ではなく、大きい物体にも自然に対応できます。深い層の粗いが意味的に強い特徴は、大きい対象の把握には依然として有効であり、FPN はそれを残したまま複数レベルを利用できるようにします。つまり、高解像度側を強化しつつ、低解像度側の大物体対応能力も維持できるのです。

5.3 検出ヘッドの役割分担がしやすい

FPN で得られる特徴群は、スケールごとの役割分担と相性が良いです。あるレベルは小さい対象、別のレベルは大きい対象を主に見る、といった設計を取りやすくなります。これはアンカー方式でもアンカーフリー方式でも重要で、各ヘッドがどのサイズ帯の責任を持つかを整理しやすくします。

結果として、検出器全体は「一つの特徴で全部を見る」よりも、ずっと自然な構造になります。この整理のしやすさも、FPN が検出タスクで長く支持される理由の一つです。

6. FPN とセグメンテーションの関係

FPN は検出器の文脈で語られることが多いですが、セグメンテーションとの相性も非常に高いです。むしろ、領域全体の意味と境界の細かさを同時に必要とするセグメンテーションでは、マルチスケール特徴統合の必要性がさらに分かりやすくなります。大きな文脈を見るには深い層が必要ですが、輪郭をきれいに出すには高解像度の情報が必要です。この二つが通常のバックボーンでは別の層に分かれているため、それらを再統合する FPN の考え方はとても自然です。

セグメンテーションでは、単にクラスが当たっていればよいのではなく、「どこまでがそのクラスか」も重要です。そのため、FPN は検出以上に“細かい位置”の価値が見えやすい場面で効きます。ただし、ここでも本質は解像度の高さそのものではなく、意味の強い高解像度特徴を得ることです。

6.1 領域全体の意味を維持しやすい

深い特徴は広い文脈を持つため、対象全体をどのカテゴリとみなすかを決めるには非常に重要です。セグメンテーションではこの大域文脈が不足すると、局所的にはもっともらしくても全体として意味が崩れやすくなります。FPN は深い層の意味を上から戻すため、密な予測でも大域文脈をある程度保ちやすくなります。

6.2 境界や細部の保持を助ける

浅い層が持つ高解像度情報は、境界や細かな構造の保持に向いています。FPN はこの情報をそのまま使うのではなく、深い意味情報と結び付けて使えるようにするため、細部だけが鋭いが意味が弱いという状態を避けやすくなります。これは、セグメンテーションで輪郭がぼやける問題を和らげるうえで非常に有効です。

6.3 インスタンスセグメンテーションでは特に自然な土台になる

インスタンスセグメンテーションでは、検出とマスク予測の両方が必要です。そのため、FPN は検出側のマルチスケール対応と、マスク側の高解像度保持の両面で自然に効きます。結果として、FPN はこの種のモデルにおいて非常に基礎的な役割を持つことが多くなります。

7. FPN と他のマルチスケール手法の違い

FPN を理解するときは、単に「複数スケールを見る方法」として捉えないことが大切です。画像ピラミッドも、単純な多層特徴利用も、広い意味ではマルチスケール対応です。しかし FPN の独自性は、複数スケールを使うことそのものではなく、各スケールの特徴を意味的にそろえ直してから使うことにあります。この違いを押さえると、なぜ FPN が長く基本形として使われているのかが見えやすくなります。

つまり、FPN は「多段階特徴をそのまま使う」発想から一歩進んで、「多段階特徴を再設計してから使う」発想へ移した点に価値があります。この設計上の一段深さが、単純なマルチスケール利用との違いです。

7.1 画像ピラミッドとの違い

画像ピラミッドは入力画像そのものを複数解像度で処理するため、考え方としては分かりやすいですが、同じ画像を何度もバックボーンへ通す必要があり計算コストが重くなりやすいです。FPN は一度のバックボーン計算で得た多層特徴を再利用するため、計算効率の面で大きな利点があります。つまり、FPN はマルチスケール性を内部特徴空間で実現する方法です。

7.2 単純な多層特徴利用との違い

中間層特徴をそのまま複数使うだけでも見かけ上はマルチスケールですが、その場合は各層の意味差が大きく、下流側がその差を吸収しなければなりません。FPN は top-down と lateral connection によって、この意味差をある程度ならします。ここが単純な多層利用との本質的な違いです。

7.3 後続の改良型は FPN を基準に発展している

PANet や BiFPN などの改良型は、FPN を土台にしつつ、情報の流れを双方向にしたり、融合の重み付けを工夫したりしています。つまり、FPN は終着点ではなく、多くのマルチスケール設計の出発点になっています。ここからも、FPN が基本設計として重要であることが分かります。

8. FPN の弱点と限界

FPN は非常に有効ですが、万能ではありません。FPN を入れればマルチスケール問題が自動的に消えるわけではなく、解決できるのはあくまで「特徴レベルでの不利を和らげること」です。極小物体、極端な密集、ラベルの不確かさ、データ分布の偏りなど、特徴融合だけでは解消しきれない問題は残ります。したがって、FPN は強力な基本形ではありますが、すべてのスケール問題への最終解ではありません。

また、異なる層の特徴を融合する以上、融合そのものの難しさもあります。浅い層のノイズやテクスチャが過剰に残ると、深い意味情報と衝突してかえって不安定になることがあります。つまり、FPN は単純な「足し算して強くなる構造」ではなく、どの情報をどの粒度でつなぐかがかなり重要な設計です。

8.1 極小物体や密集シーンには限界がある

小物体への対応を改善するとはいえ、極端に情報量が少ない対象は依然として難しいです。画像上で数ピクセルしかない物体では、そもそも観測されている情報が足りず、FPN だけで十分に救えないことがあります。密集シーンでも、近接する対象同士が特徴上で混ざりやすくなり、融合だけでは分離しきれないことがあります。

8.2 融合の質が悪いと逆効果になることもある

異なるレベルの特徴を混ぜることは強力ですが、雑に融合すると意味がぼやけたり、不要な局所ノイズが増えたりします。浅い層の細かさは価値がある一方で、意味の弱いパターンも多く含むため、それをどう整えて使うかが重要です。FPN は魔法の結合器ではなく、特徴再設計の一つの基本形にすぎません。

8.3 計算量とメモリは増える

FPN は画像ピラミッドより効率的ですが、それでも複数レベルの特徴を保持し、アップサンプリングし、融合するため、追加コストがあります。軽量モデルや低レイテンシ制約の強い環境では、このコストが無視できない場合もあります。したがって、常に FPN を入れればよいわけではなく、用途によっては簡略版や代替構造を考える必要があります。

9. FPN を実装・運用するときの注意点

FPN は概念としては分かりやすくても、実装と運用では細かな設計判断がかなり効いてきます。どのバックボーン段を使うか、チャネル数をどう整えるか、アップサンプリングの方法をどうするか、各レベルをどのサイズ帯へ対応させるかなどです。つまり、FPN は「入れる・入れない」だけではなく、「どう入れるか」でかなり性能が変わる構造です。ここを雑に扱うと、見た目は FPN でも十分な改善が出ないことがあります。

また、運用ではデータ分布との相性を見ることが重要です。小物体が多いデータなのか、大物体中心なのか、境界品質が重要なのかによって、FPN のどの側面が効くかは変わります。したがって、FPN は汎用設計ではありますが、使い方まで含めて最適化する余地が大きいです。

9.1 どのバックボーン段を使うかを整理する

すべての中間層を使えばよいとは限りません。浅すぎる層は意味が弱く、深すぎる層は解像度が粗すぎることがあります。どの段階を FPN の入力にするかは、バックボーン構造とタスク要件を見ながら決めたほうがよいです。FPN は後付けしやすい一方で、バックボーン理解を前提にした設計が必要です。

9.2 チャネル整合と融合方法を軽く見ない

異なる層の特徴を融合するにはチャネル数の整合が必要ですが、これは単なる帳尻合わせではありません。どの情報を残してどの情報を圧縮するかという表現設計でもあります。ここを雑にすると、融合後の特徴が弱くなったり、安定しなくなったりすることがあります。

9.3 スケール別の性能でデバッグする

FPN を使っていて性能が伸びない場合、全体指標だけでは原因が見えにくいことがあります。小・中・大サイズごとの性能、どのレベルで誤検出が多いか、どこで見逃しが起きているかを見るほうが有効です。FPN の問題はスケール別に現れやすいため、デバッグもスケール別に行ったほうが意味があります。

おわりに

Feature Pyramid Network（FPN）は、異なる解像度を持つ多段階特徴を、意味の強さと空間の細かさの両方を意識しながら再構成するための基本設計です。深い層の意味情報を top-down に戻し、浅い層の高解像度情報と lateral connection で結び付けることで、各レベルで使いやすい特徴ピラミッドを作ります。この構造により、物体検出では小さい対象から大きい対象まで扱いやすくなり、セグメンテーションでは広い文脈理解と細かな境界保持の両立がしやすくなります。

重要なのは、FPN を単なる有名な部品として覚えないことです。FPN の本質は、「複数スケールを見ること」そのものではなく、「複数スケールの特徴を意味的にそろえ直して使うこと」にあります。この視点を持つと、画像ピラミッドや単純な多層利用との違いもはっきり見えてきますし、後続の改良型がどこを伸ばそうとしているのかも理解しやすくなります。

その一方で、FPN は万能ではなく、極小物体、密集対象、融合の難しさ、計算コストといった限界も持っています。だからこそ、「FPN を入れたか」ではなく、「どのスケール問題をどう和らげたいのか」を考えながら使うことが重要です。FPN をそのように理解できるようになると、単なる構造暗記ではなく、ビジョンモデルにおけるマルチスケール特徴設計の基本的な考え方として使いこなしやすくなります。