スタッキング（Stacking）は、複数の機械学習モデルの予測結果を別のモデルに学習させ、最終的な予測を導き出すアンサンブル学習手法です。本記事では、スタッキングの仕組みやバギング・ブースティングとの違い、OOF予測によるデータリーク対策、実務での活用方法、AutoMLや生成AI時代における可能性まで、最新の視点からわかりやすく解説します。
はじめに：なぜ今、スタッキングが注目されるのか
機械学習では、どれほど高性能なアルゴリズムを選んでも、単一モデルだけであらゆるデータの特徴を完全に捉えることは困難です。
たとえば、勾配ブースティングは表形式データの複雑な非線形関係を捉えるのが得意である一方、線形モデルは全体的な傾向を安定して捉えられます。ニューラルネットワークには別の強みがあり、モデルごとに得意な領域が異なります。
そこで重要になるのが**スタッキング（Stacking）**です。
スタッキングは、複数のモデルを単純に平均するのではなく、それぞれのモデルが出した予測を「新しい特徴量」として扱い、さらに別のモデルに学習させます。
つまり、スタッキングの本質は「モデルを増やすこと」ではありません。
複数モデルが持つ異なる判断基準や誤差パターンを、別のモデルに学習させることにあります。
スタッキングとは？複数モデルを「メタモデル」で統合する
スタッキングは、複数のベースモデルと、それらの出力を統合するメタモデルから構成されます。
たとえば、顧客の離脱を予測するとしましょう。
第一層では、Random Forest、XGBoost、ロジスティック回帰、ニューラルネットワークなどをそれぞれ学習させます。それぞれが「この顧客が離脱する確率」を予測し、その結果を第二層のメタモデルへ渡します。
メタモデルは、単純に平均するのではなく、
「このデータではXGBoostの予測を重視したほうがよい」
「このパターンでは線形モデルの判断が有効」
「複数モデルが一致している場合は予測の信頼度が高い」
といったモデル間の関係を学習します。
最終的には、このメタモデルが複数の予測を統合して最終結果を出力します。
scikit-learnでも StackingClassifier と StackingRegressor が提供されており、ベースモデルの出力を最終推定器への入力として利用する構成が標準的に実装されています。
スタッキングの仕組みを理解する3つのポイント
スタッキングは、大きく「ベースモデル」「OOF予測」「メタモデル」の3段階で考えると理解しやすくなります。
1．ベースモデルを複数用意する
第一層では、異なるアルゴリズムを組み合わせます。
たとえば売上予測なら、LightGBMやXGBoostのような勾配ブースティング、Random Forest、線形回帰、ニューラルネットワークなどを候補にできます。
重要なのは、単純にモデル数を増やすことではありません。
異なる種類の誤りをするモデルを組み合わせることが重要です。
似たアルゴリズムを大量に組み合わせても予測結果がほぼ同じなら、スタッキングによる追加効果は限定的です。
2．OOF（Out-of-Fold）予測を作る
スタッキングで特に重要なのが、データリークを防ぐことです。
ベースモデルが学習に使用したデータそのものを予測し、その予測値をメタモデルの学習に使うと、ベースモデルが「答えを知った状態」で出した予測をメタモデルが学習することになります。これでは実際の未知データに対する性能を正しく評価できません。
そこでK-foldクロスバリデーションを利用します。
データを複数のフォールドに分割し、一部で学習、残りで予測する処理を繰り返します。こうして、各サンプルについて「そのサンプルを学習に使っていないモデルから得た予測」を作ります。これがOOF予測です。
このOOF予測をメタモデルの学習データとして利用することで、より適切なスタッキング構造を構築できます。scikit-learnの実装でも、メタモデルはベースモデルのクロスバリデーションによる予測を使って学習する仕組みになっています。
3．メタモデルが最終判断する
最後に、ベースモデルの予測値を入力としてメタモデルを学習します。
分類問題ならロジスティック回帰、回帰問題ならRidgeなど、比較的シンプルで正則化されたモデルを使う設計も一般的です。
ここでメタモデルが学習しているのは、元データそのものだけではありません。
「どのモデルの予測を、どのような状況で信頼するべきか」
という、モデル同士の関係です。
この点が、スタッキングを単純な多数決や平均とは異なるものにしています。
バギング・ブースティング・スタッキングとの違い
アンサンブル学習には、バギングやブースティングなど複数の方式があります。
バギングは、データを変えて複数のモデルを学習し、その予測を平均や多数決などで統合する方法です。Random Forestが代表例です。
ブースティングは、前のモデルが苦手だった部分を次のモデルが補うように、モデルを順番に構築していきます。XGBoostやLightGBMなどが代表的です。
一方、スタッキングは、異なるモデルの予測結果を別のモデルに入力し、その組み合わせ方自体を学習します。
したがって、
「複数モデルを作る」ことよりも、
「複数モデルの予測をどう組み合わせるかまで学習する」
ことがスタッキングの特徴だと考えると分かりやすいでしょう。
ブレンディングとの違い
スタッキングと混同されやすいのがブレンディングです。
両者とも複数モデルの予測を別のモデルに入力しますが、データの使い方に違いがあります。
ブレンディングでは、学習データの一部をホールドアウトしてベースモデルの予測を作り、その予測をメタモデルの学習に利用する方法が一般的です。
一方、スタッキングではK-foldクロスバリデーションなどを利用してOOF予測を作るため、より多くのデータをメタモデルの学習に活用できます。
ただし、K-foldの分割数を増やせば必ず性能が上がるわけではありません。分割数が増えるほど計算量も増えるため、データ量やモデルの学習コストとのバランスが重要です。
スタッキングが活躍する実務領域
スタッキングは、単一のアルゴリズムではデータの複雑な構造を捉えにくい問題で特に有効です。
代表的なのが需要予測・売上予測です。
たとえば、LightGBMで価格や販促などの非線形関係を捉え、時系列モデルで季節性を捉え、さらに線形モデルで全体的なトレンドを捉えるといった構成が考えられます。
金融・マーケティングでも活用できます。顧客の離脱、購入、コンバージョンなどを予測する場合、モデルによって得意な顧客層やデータパターンが異なる可能性があります。複数モデルの予測を統合することで、個々のモデルが持つ偏りを補完できます。
さらに、画像・自然言語・音声などの機械学習領域でも、異なるモデルや特徴表現を組み合わせるという考え方は応用可能です。
ただし、スタッキングは「使えば必ず精度が上がる」技術ではありません。scikit-learnの例でも、スタッキングによって改善するケースが示される一方、ベースモデルの誤差が十分に異なることが重要だとされています。
スタッキングのメリットと注意点
最大のメリットは、モデルの多様性を予測性能に変換できることです。
単一モデルでは捉えきれないパターンを別のモデルが補完し、さらにメタモデルがそれらの組み合わせ方を学習できます。
一方で、モデル数が増えるほど学習時間や推論コストは増加します。また、データ分割やOOF予測の設計を誤ると、データリークによって検証結果だけが不自然に良くなる可能性があります。
さらに、複数モデルとメタモデルから構成されるため、単一モデルと比べて結果の説明が難しくなることもあります。
そのため実務では、**「最高精度を狙ってモデルを増やす」より、「異なる強みを持つ少数のモデルを適切に組み合わせる」**ことが重要です。
2026年のスタッキングは「AutoML」と「AIシステム」の中へ
スタッキングは、現在では専門家がゼロから設計する高度なテクニックだけではありません。
AutoMLや機械学習プラットフォームでは、複数のアルゴリズムを比較し、その予測をアンサンブルする仕組みが組み込まれています。H2OでもStacked Ensembleが提供され、複数のベースモデルとメタラーナーを組み合わせる構成を利用できます。
今後さらに重要になるのは、**「モデルを何個組み合わせるか」ではなく、「異なる能力を持つモデルをどう役割分担させるか」**という考え方です。
特に生成AIの普及によって、機械学習モデルだけでなく、LLM、検索システム、ルールエンジン、RAG、予測モデルなど、異なるAIコンポーネントを組み合わせるシステム設計が増えています。
これは厳密な意味で従来型のスタッキングとは異なりますが、「複数の異なる判断結果を統合して最終判断につなげる」という考え方は共通しています。
その意味で、スタッキングは単なるアンサンブル手法ではなく、異なるAIの能力を統合するための設計思想として捉えることもできます。
まとめ：スタッキングの本質は「モデルを増やす」ことではない
スタッキングは、複数の機械学習モデルを組み合わせ、その予測結果をメタモデルに学習させるアンサンブル手法です。
特に重要なのは、モデル数そのものではありません。
異なるモデルが持つ「得意・不得意」と「誤差の違い」を利用することが、スタッキングの本質です。
そのため、実務で導入する際には、まず単一モデルの性能を正しく評価し、そのうえで異なる特徴を持つモデルを組み合わせ、OOF予測によってデータリークを防ぎながらメタモデルを構築することが重要です。
AIモデルが多様化する現在、価値があるのは「最も優れた一つのモデル」を探し続けることだけではありません。
それぞれのモデルの強みを理解し、最終的に最も有効な組み合わせを学習させる。
スタッキングは、この「単独のAI」から「協調するAI」へという流れを理解するうえでも重要な技術だといえるでしょう。
