機械学習における第一種過誤・第二種過誤をどう理解するか?仮説検定の誤りを整理
機械学習やデータ分析の文脈では、モデルの精度評価だけでなく、A/Bテスト、特徴量の有効性確認、実験結果の比較、アルゴリズム改善の検証など、さまざまな場面で仮説検定が使われます。このとき必ず重要になるのが、「どのように間違う可能性があるか」という視点です。統計的検定は、何かを断定するための道具であると同時に、誤った判断をどのような形で犯しうるかを管理するための道具でもあります。その中心にある概念が、第一種過誤 と 第二種過誤 です。
第一種過誤と第二種過誤は、一見すると単なる定義問題のように見えます。第一種過誤は「本当は正しい帰無仮説を棄却してしまうこと」、第二種過誤は「本当は誤っている帰無仮説を棄却できないこと」と説明されます。しかし、これを言葉だけで覚えても、実務ではかなり混乱しやすくなります。なぜなら、どちらも「間違い」ではあるものの、意味する損失や重みが場面によって大きく違うからです。たとえば、存在しない効果をあると判断する誤りと、実際にある効果を見逃す誤りでは、業務上の影響がまったく同じとは限りません。
EN
JP
KR