正規分布から導く三つの分布

3つの分布を公式として覚えていませんか？

統計学を学び始めると、正規分布、二項分布、ポアソン分布など比較的早い段階で目にする確率分布がある。その後、統計的推測や仮設検定を学ぶ頃には以下の3つの分布が登場する。

• $\chi^2$ 分布
• $t$ 分布
• $F$ 分布

これらを初めて学んだとき、どのように覚えただろうか。それぞれの分布を描画し、その形で覚える。もしくは、それぞれについて期待値や分散、自由度を公式として、またはそれらの分布の登場場面で覚えた方も多いのではないだろうか。

• 母分散の検定は $\chi^2$ 分布
• 母平均の検定では $t$ 分布
• 分散の比較では $F$ 分布

などといった要領で。

ではこれらの検定でそれらの分布が登場するのはなぜか？本記事では、標準正規分布を原点としてそれらの分布がどう組み立てられるのかを解明していく。

$Z \sim N \:(0,\:1)\:\:\Rightarrow\:\: \displaystyle \sum_{i = 1}^{\nu} Z_i^2 \sim\chi^2(\nu)\:\:\Rightarrow\:\:\dfrac{\:Z\:}{\:\sqrt{U/\nu}\:}\sim t(\nu)\:\:\Rightarrow\:\: \dfrac{\:U_1/\nu_1\:}{\:U_2/\nu_2\:}\sim F(\nu_1,\:\nu_2)$

最左辺の標準正規分布から各分布へつながる上式において、正規乱数や $\chi^2$ 乱数は互いに独立と仮定しておく。

正規分布の二乗

自由度 1 の $\chi^2$ 分布

まずはじめに標準正規乱数

$Z\sim N(0,\:1)$

を考える。この $Z$ を二乗した

$Z^2$

は非負の値を取り、 $Z$ の平均が 0 であることから、 $Z^2$ も 0 に値が集中することとなる。一方、$\lvert Z \rvert$ が大きい値を取ることは稀だが、二乗することにより裾は右に長くなる。この $Z^2$ の分布を、自由度 1 の $\chi^2$ 分布と呼ぶ。

$Z^2\sim \chi^2(1)$

自由度 $\nu$ の $\chi^2$ 分布

独立な標準正規乱数

$Z_1,\:Z_2,\:\cdots,\:Z_\nu\overset{\text\small\textrm{i.i.d}}{\sim} N(0,\:1)$

を用意し（$i.i.d$; Independent and Identically Distributed ）、その二乗和 $U$ を

$U\:=\:\displaystyle \sum_{i=1}^\nu Z_i^2$

とする。このとき

$U\sim \chi^2 (\nu)$

であり、$\mu$ は自由度と呼ばれる。$\chi^2 (\nu)$ 分布の平均と分散は

$E[U]\:=\:\nu,\:\:\:\mathrm{Var}(U) \:=\: 2\nu $

である。自由度が大きいほど分布の中心は右へ移動し、相対的なばらつきは小さくなる。グラフの形も自由度が小さいほど右に強く歪むが、大きくなればなるほど正規分布に近い形となる。

図1: 標準正規乱数の二乗和で作ったヒストグラム、およびSciPyの $\chi^2$ 理論密度

標本分散との関係

分散の検定に $\chi^2$ 分布が出てくる理由は、正規母集団の標本分散が二乗和で表されるからである。

$\chi^2$ を独立に

$X_i\sim N(\mu,\:\sigma^2)$

から抽出した標本とし、標本平均を $\bar{X}$、不偏分散 $S$ を

$S^2 \:=\: \dfrac{\:1\:}{\:n-1\:}\displaystyle \sum_{i=1}^n (X_i – \bar{X})^2$

とする。この式の両辺に $(n-1)/\sigma ^2$ をかけると（ $\sigma$ は母集団の標準偏差）

$\dfrac{(n−1)S^2}{\sigma^2}=\dfrac{\:1\:}{\:\sigma^2\:}\displaystyle \sum_{i=1}^n (X_i−\bar{X})^2$

となる。ここで母平均 $\mu$ が既知であることは極めて稀である。仮に母平均 $\mu$ が既知であれば各 $X_i$ を標準化し

$Z_i \:=\: \dfrac{\:X_i – \mu\:}{\:\sigma\:}$

とすることでこれらは互いに独立な標準正規分布に従う。

$Z_i \sim N(0,\:1)$

である。したがってその二乗和は以下の式の通り自由度 $n$ の $\chi^2$ 分布に従うことになる。

$\displaystyle \sum_{i=1}^n Z_i^2 \:=\:\dfrac{\:1\:}{\:\sigma^2\:}\displaystyle \sum_{i=1}^{n} (X_i – \mu)^2 \sim \chi_n^2$

しかし標本分散の検定で使用できるのは $\mu$ ではなく $\bar{X}$ である。つまり $\mu \:\rightarrow\: \bar{X}$ としてもその分散は $\chi^2$ 分布に従うことを示すことが目標である。

ここで母平均を用いた二乗和を以下のように変形する。

$\displaystyle \sum_{i=1}^n (X_i – \mu)^2 \:=\: \displaystyle \sum_{i=1}^n (X_i – \bar{X} + \bar{X}-\mu)^2 \:\:\:=\:\displaystyle \sum_{i=1}^n (X_i – \bar{X})^2 + 2 (\bar{X} – \mu) \displaystyle \sum_{i=1}^n(X_i – \bar{X})+\displaystyle \sum_{i=1}^n (\bar{X} – \mu)^2\:=\: \displaystyle \sum_{i=1}^n (X_i – \bar{X})^2 + n(\bar{X} – \mu)^2$

$2 (\bar{X} – \mu) \displaystyle \sum_{i=1}^n(X_i – \bar{X})$

において、標本平均は

$\bar{X}\:=\: \dfrac{\:1\:}{\:n\:}\displaystyle\sum_{i=1}^n X_i \:\iff\:n\bar{X} \:=\: \sum_{i=1}^n X_i$

であり

$\displaystyle \sum_{i=1}^n(X_i – \bar{X}) \:=\: \sum_{i=1}^n X_i – n\bar{X}$

となるため

$2 (\bar{X} – \mu) \displaystyle \sum_{i=1}^n(X_i – \bar{X})\:=\:0$

である。つまり

$\displaystyle \sum_{i=1}^n(X_i – \mu)^2 \:=\: \sum_{i=1}^n (X_i – \bar{X})^2 + n(\bar{X}-\mu)^2$

であり、上式の両辺を $\sigma^2$ で割ると

$\dfrac{\:1\:}{\:\sigma^2\:}\displaystyle\sum_{i=1}^n(X_i – \mu)^2 \:=\: \dfrac{\:1\:}{\:\sigma^2\:}\sum_{i=1}^n (X_i – \bar{X})^2 + \dfrac{\:n(\bar{X}-\mu)^2\:}{\:\sigma^2\:}$

となる。左辺は自由度 $n$ の $\chi^2$ 分布に従い、右辺の第二項においてもその平方根を取ると

$\dfrac{\:\bar{X}-\mu\:}{\:\sigma/\sqrt{n}\:} \sim N(0,\:1)$

と標準正規分布に従うため、

$\dfrac{\:n(\bar{X}-\mu)^2\:}{\:\sigma^2\:} \sim \chi_1^2$

と自由度 1 の $\chi^2$ 分布へ従う。ここで正規母集団では、$\bar{X}$ と $S^2$ は独立となるので、

二乗和の自由度は以下のように分解することができる。

$\chi^2_n \:=\: \chi_{n-1}^2 \:+\:\chi_1^2 $

したがって残りの第一項は自由度 $n-1$ の $\chi^2$ 分布に従うことになる。

よって

$\dfrac{\:(n-1)S^2\:}{\:\sigma^2\:} \sim \chi_{n-1}^2$

となる。本来不明である母平均 $\mu$ を標本平均 $\bar{X}$ で推定するために、自由度を 1 つ使う。そのため、標本平均を用いて偏差の二乗和を推定しようとするとその自由度は $n-1$ になる。

母分散が未知の場合の推定

$t$ 分布

母平均 $\mu$ を検定したいものとする。母分散 $\sigma^2$ が既知であれば、標本平均の標準化

$Z\:=\: \dfrac{\:\bar{X}- \mu\:}{\:\sigma/ \sqrt{n}\:}$

は標準正規分布に従う。

$Z\sim N(0,\:1)$

しかし母分散 $\sigma^2$ が既知であることは稀であり、未知の $\sigma$ の代わりに標本標準偏差 $S$ を使う必要がある。

$T\:=\:\dfrac{\:\bar{X}-\mu\:}{S/\sqrt{n}}$

上式において、標本標準偏差 $S$ には推定誤差が含まれる。したがって $T$ は標準正規分布よりも裾が厚い分布になる。これが $t$ 分布である。$\sigma \to S$ と置き換えると、 $S$ は標本ごとに値が変化する確率変数である。したがって統計量 $T$ には $S$ を推定することによる不確実性も含まれることになる。以下ではこの統計量がどんな分布に従うかを、前章で扱った $\chi^2$ 分布との関係から確認する。

前章において標本分散については、

$\dfrac{\:(n-1)S^2\:}{\:\sigma^2\:} \sim \chi_{n-1}^2$

が成り立つことが確認できた。ここで

$U\:=\: \dfrac{\:(n-1)S^2\:}{\sigma^2}$

は自由度 $n-1$ の $\chi^2$ 分布に従い

$U\sim \chi^2(n-1)$

である。この $U$ を $n-1$ で割った後平方根を取ると

$\sqrt{\dfrac{\:U\:}{\:n-1\:}} \:=\: \sqrt{\dfrac{\:1\:}{\:n-1\:}\cdot \dfrac{\:(n-1)S^2\:}{\:\sigma^2\:}} \:=\: \sqrt{\dfrac{\:S^2\:}{\:\sigma^2\:}}\:=\: \dfrac{\:S\:}{\:\sigma\:}$

ここで、母標準偏差が既知の場合に用いた標準正規変数

$Z\:=\: \dfrac{\:\bar{X}- \mu\:}{\:\sigma/ \sqrt{n}\:}$

を先ほど求めた $S/\sigma$ で割ると

$\dfrac{\:Z\:}{\:\sqrt{U/(n-1)}\:} \:=\: \dfrac{\:\dfrac{\:\bar{X}- \mu\:}{\:\sigma/\sqrt{n}\:}\:}{\:\dfrac{\:S\:}{\:\sigma\:}\:}=\dfrac{\:\bar{X}- \mu\:}{\:\sigma/\sqrt{n}\:}\cdot \dfrac{\:\sigma\:}{\:S\:} \:=\:\dfrac{\:\bar{X}- \mu\:}{\:S/\sqrt{n}\:}$

となる。右辺は未知の標準偏差 $\sigma$ を標本標準偏差 $S$ に置き換えた統計量 $T$ に一致する。

正規母集団では、標本平均 $\bar{X}$ と標本分散 $S^2$ は独立である。したがって

$Z\sim N(0,\:1)$

と

$U\sim \chi^2(n-1)$

も独立であり

$T\:=\:\dfrac{\:Z\:}{\:\sqrt{U/(n- 1)}\:} \:=\: \dfrac{\:\bar{X}- \mu\:}{\:S/\sqrt{n}\:}$

は自由度 $n-1$ の $t$ 分布に従う。

$\dfrac{\:\bar{X}- \mu\:}{\:S/\sqrt{n}\:} \sim t(n-1)$

以上から $t$ 分布は、母標準偏差 $\sigma$ が未知であるために標本から求めた $S$ を用いて標準化を行い、その時に発生する分布であることがわかる。

母標準偏差が既知の時、統計量は標準正規分布に従う。一方、$S$ は標本ごとに変動するため、その不確実性が加わり、 $t$ 分布は標準正規分布よりも裾の厚い形になる。

図2: 正規乱数と $\chi^2$ 型の二乗和から作った $t$ 分布、およびSciPyの $t$ 理論密度

ここで $\chi^2$ 分布の期待値と分散は

$E[U]\:=\:\nu,\:\:\:Var(U) \:=\: 2\nu$

であった。ここで $U$ を自由度 $\nu$ で割った値については

$E[U/\nu] \:=\: \dfrac{\:E[U]\:}{\:\nu\:}\:=\: 1$

また分散は

$\mathrm{Var}\biggl(\dfrac{\:U\:}{\:\nu\:}\biggr) \:=\: \dfrac{\:1\:}{\:\nu^2\:}\mathrm{Var(U)} \:=\: \dfrac{\:2\:}{\:\nu\:}$

つまり $U/\nu$ はばらつきを含めて

$\dfrac{\:U\:}{\:\nu\:} \:=\: 1 \:\pm\: \dfrac{\:2\:}{\:\nu\:}$

と表すことで整合性がとれ、自由度が大きくなると変動が小さくなり

$\nu\to\infty \:\:\Rightarrow\:\: \dfrac{\:U\:}{\:\nu\:} \to 1$

上式のようにやがて 1 に収束する。したがって

$\sqrt{\dfrac{\:U\:}{\:\nu\:}} \to 1$

である。ここで $t$ 統計量は

$T\:=\: \dfrac{\:Z\:}{\:\sqrt{U/\nu}\:}$

であり、自由度が大きくなると分母は 1 に近づくことから

$T\:=\: \dfrac{\:Z\:}{\:\sqrt{U/\nu}\:} \:\approx\: \dfrac{\:Z\:}{\:1\:} \:=\: Z$

となる。$Z$ はその定義から

$Z \sim N(0,\:1)$

であるから、$t$ 分布は自由度が大きくなるにつれて標準正規分布に近づくことがわかる。

分散比検定

$F$ 分布

二つの正規母集団から独立に標本を取る。

$X_1,\:X_2,\:\cdots,\:X_{n1} \overset{\text\small\textrm{i.i.d}}{\sim}N(\mu_1,\:\sigma_1^2),\hspace{2em}Y_1,\:Y_2,\:\cdots,Y_{n2}\overset{\text\small\textrm{i.i.d}}{\sim} N(\mu_2,\:\sigma_2^2)$

それぞれの不偏分散を $S_1^2,\:S_2^2$ とすると、前々節の内容から

$U_1\:=\:\dfrac{\:(n_1 – 1) S_1^2\:}{\:\sigma_1^2\:} \sim \chi^2(n_1 -1),\hspace{2em}U_2\:=\:\dfrac{\:(n_2 – 1) S_2^2\:}{\:\sigma_2^2\:} \sim \chi^2(n_2 -1)$

であり、二つは独立である。

それぞれの $\chi^2$ 変数（$U_1, \:U_2$）を自由度で割ると

$\dfrac{\:U_1\:}{n_1-1}\:=\:\dfrac{\:S_1^2\:}{\:\sigma_1^2\:}\\\dfrac{\:U_2\:}{n_2-1}\:=\:\dfrac{\:S_2^2\:}{\:\sigma_2^2\:}$

となる。ここで2つの量の比を取るとこれが $F$ 統計量となる。

$F\:=\: \dfrac{\:U_1/(n_1-1)\:}{\:U_2/(n_2 -1)\:}\:=\: \dfrac{\:S_1^2\:}{\:S_2^2\:}\cdot \dfrac{\:\sigma_2^2\:}{\:\sigma_1^2\:}$

この統計量は二つの自由度

$\nu_1 \:=\: n_1 -1,\hspace{2em}\nu_2 \:=\: n_2 -1$

を持つ $F$ 分布に従う。

$F\sim F(\nu_1,\:\nu_2)$

母分散の比の検定

2つの母分散が等しいかどうかを調べたいとする。このとき帰無仮説を

$H_0:\sigma_1^2 \:=\: \sigma_2^2$

とおく。この仮説の元では

$\dfrac{\:\sigma_2^2\:}{\:\sigma_1^2\:}\:=\: 1$

であるから、$F$ 統計量は

$F\:=\: \dfrac{\:S_1^2\:}{\:S_2^2\:}$

となる。したがって

$\dfrac{\:S_1^2\:}{\:S_2^2\:}\sim F(n_1-1, \: n_2 -1)$

である。つまり $F$ 分布は2つの標本分散の比が、母分散が等しいという仮定のもとでどの程度変動するかを表す分布である。

図3: 二つの独立な平均二乗の比で作った $F$ 分布および、SciPyの $F$ 理論密度

$t$ 分布との関係

自由度 $\nu$ の $t$ 分布に従う確率変数 $T$

$T \sim t_\nu$

があるとき、これを二乗すると

$T^2\sim F(1,\:\nu)$

となる。$T$ は

$T\:=\: \dfrac{\:Z\:}{\:\sqrt{U/\nu}\:}$

と表せるため、二乗すると

$T^2\:=\: \dfrac{\:Z^2\:}{\:{U/\nu}\:}$

となる。標準正規変数 $Z$ の二乗は自由度 1 の $\chi^2$ 分布に従い

$Z^2\sim \chi_1^2$

であるため、

$T^2\:=\: \dfrac{\:\chi_1^2/1\:}{\:\chi_\nu^2/\nu\:}$

となる。これは分子の自由度 1、分母の自由度が $\nu$ である $F$ 分布の定義そのものとなっている。

まとめ

最後に、分布の関係を一つの流れとして整理する。

• 標準正規分布

$Z \sim N(0,\:1)$

• 独立な標準正規乱数を二乗して足すと、$\chi^2$ 分布になる。

$\displaystyle\sum_{i=1}^{\nu} Z_i^2 \sim \chi^2(\nu)$

• 標準正規乱数を、独立な $\chi^2$ 乱数から作った推定標準偏差で割ると、$t$ 分布になる。

$\dfrac{\:Z\:}{\:\sqrt{U/\nu}\:} \sim t(\nu)$

• 独立な二つの $\chi^2$ 乱数を自由度で割り、その比を取ると、$F$ 分布になる。

$\dfrac{\:U_1/\nu_1\:}{\:U_2/\nu_2\:} \sim F(\nu_1,\:\nu_2)$

したがって、$\chi^2$ 分布、$t$ 分布、$F$ 分布は正規分布を出発点にして、「二乗和」「推定分散による標準化」「平均二乗の比」という操作を追えば、検定でなぜその分布が出てくるのかが自然に見えてくる。

付録

3つの図の描画に使ったPythonコードを以下に示す。

"""
Generate only the three simulation figures: chi-square, t, and F.

The figures are built from normal random numbers first, then theoretical
SciPy densities are overlaid for comparison.
"""

from pathlib import Path

import matplotlib

matplotlib.use("Agg")

import matplotlib.pyplot as plt
import numpy as np
from scipy import stats


ROOT = Path(__file__).resolve().parents[1]
# Figuresに保存する前提
OUTPUT_DIR = ROOT / "Figures"
OUTPUT_DIR.mkdir(exist_ok=True)

RNG = np.random.default_rng(20260717)
N = 100_000

plt.rcParams.update(
    {
        "font.family": ["YuGothic", "Hiragino Sans", "DejaVu Sans"],
        "axes.unicode_minus": False,
        "figure.dpi": 140,
        "savefig.dpi": 220,
        "axes.spines.top": False,
        "axes.spines.right": False,
    }
)


def save(fig, name):
    for suffix in ("png", "pdf"):
        fig.savefig(
            OUTPUT_DIR / f"{name}.{suffix}",
            bbox_inches="tight",
            facecolor="white",
            edgecolor="white",
        )
    plt.close(fig)


def style(ax):
    ax.grid(True, axis="y", color="#d9dee7", linewidth=0.8, alpha=0.8)
    ax.tick_params(labelsize=8)


def chi_square_figure():
    dfs = [1, 2, 5, 30]
    fig, axes = plt.subplots(2, 2, figsize=(10.5, 6.4))
    fig.suptitle("標準正規乱数の二乗和から作る $\\chi^2$ 分布", fontsize=14)

    for ax, df in zip(axes.ravel(), dfs):
        z = RNG.normal(size=(N, df))
        simulated = np.sum(z**2, axis=1)
        xmax = stats.chi2.ppf(0.995, df)
        x = np.linspace(0.001, xmax, 600)

        ax.hist(simulated, bins=90, range=(0, xmax), density=True, color="#7aa6c2", alpha=0.58)
        ax.plot(x, stats.chi2.pdf(x, df), color="#b23b3b", lw=2.1)
        ax.set_title(f"自由度 $\\nu={df}$", fontsize=11)
        ax.set_xlabel("$x$")
        ax.set_ylabel("density")
        style(ax)

    fig.legend(["SciPy 理論密度", "正規乱数から作成"], loc="lower center", ncol=2, frameon=False)
    fig.tight_layout(rect=(0, 0.06, 1, 0.95))
    save(fig, "three_distribution_chi_square")


def t_figure():
    dfs = [1, 3, 10, 30]
    fig, axes = plt.subplots(2, 2, figsize=(10.5, 6.4), sharex=True, sharey=True)
    fig.suptitle("標準正規を推定分散で標準化すると $t$ 分布になる", fontsize=14)
    x = np.linspace(-5.5, 5.5, 900)

    for ax, df in zip(axes.ravel(), dfs):
        z = RNG.normal(size=N)
        u = np.sum(RNG.normal(size=(N, df)) ** 2, axis=1)
        simulated = z / np.sqrt(u / df)

        ax.hist(simulated, bins=120, range=(-5.5, 5.5), density=True, color="#83b799", alpha=0.55)
        ax.plot(x, stats.t.pdf(x, df), color="#b23b3b", lw=2.1)
        ax.plot(x, stats.norm.pdf(x), color="#30343f", lw=1.6, ls="--")
        ax.set_title(f"自由度 $\\nu={df}$", fontsize=11)
        ax.set_xlabel("$t$")
        ax.set_ylabel("density")
        style(ax)

    fig.legend(
        ["SciPy t 密度", "標準正規密度", "正規乱数から作成"],
        loc="lower center",
        ncol=3,
        frameon=False,
    )
    fig.tight_layout(rect=(0, 0.06, 1, 0.95))
    save(fig, "three_distribution_t")


def f_figure():
    df_pairs = [(1, 5), (5, 5), (10, 20), (30, 30)]
    fig, axes = plt.subplots(2, 2, figsize=(10.5, 6.4))
    fig.suptitle("二つの独立な平均二乗の比から作る $F$ 分布", fontsize=14)

    for ax, (df1, df2) in zip(axes.ravel(), df_pairs):
        u1 = np.sum(RNG.normal(size=(N, df1)) ** 2, axis=1)
        u2 = np.sum(RNG.normal(size=(N, df2)) ** 2, axis=1)
        simulated = (u1 / df1) / (u2 / df2)
        xmax = stats.f.ppf(0.995, df1, df2)
        x = np.linspace(0.001, xmax, 700)

        ax.hist(simulated, bins=120, range=(0, xmax), density=True, color="#d7a86e", alpha=0.55)
        ax.plot(x, stats.f.pdf(x, df1, df2), color="#b23b3b", lw=2.1)
        ax.axvline(1, color="#30343f", lw=1.2, ls=":")
        ax.set_title(f"自由度 $(\\nu_1,\\nu_2)=({df1},{df2})$", fontsize=11)
        ax.set_xlabel("$f$")
        ax.set_ylabel("density")
        style(ax)

    fig.legend(["SciPy F 密度", "$F=1$", "正規乱数から作成"], loc="lower center", ncol=3, frameon=False)
    fig.tight_layout(rect=(0, 0.06, 1, 0.95))
    save(fig, "three_distribution_f")


if __name__ == "__main__":
    chi_square_figure()
    t_figure()
    f_figure()
    print(f"Generated three distribution figures in {OUTPUT_DIR}")