確率変数列の収束理論

2025年12月1日

確率論と統計学の重要な概念である確率変数列の収束について、体系的に解説します。概収束から分布収束まで4つの収束概念を理解し、大数の法則や中心極限定理といった基本定理から、デルタ法などの応用まで幅広く学習しましょう。

確率変数列の4つの収束

確率変数列\(\{X_n\}_{n=1}^{\infty}\)の収束には、条件の強さによって4つの類型があります。これらの収束は以下の包含関係を持ちます：

概収束 ⊂ 平均二乗収束 ⊂ 確率収束 ⊂ 分布収束

概収束（Almost Sure Convergence）

確率変数列\(\{X_n\}\)が確率変数\(Y\)に概収束するとは：

\[P\left(\lim_{n \to \infty} X_n = Y\right) = 1\]

が成り立つことです。これは\(X_n \to Y\) a.s.と表記されます。

具体例: 大数の強法則

平均二乗収束（Mean Square Convergence）

確率変数列\(\{X_n\}\)が確率変数\(Y\)に平均二乗収束するとは：

\[\lim_{n \to \infty} E[(X_n – Y)^2] = 0\]

が成り立つことです。これは\(X_n \to Y\) in L²と表記されます。

具体例: 大数の弱法則の証明

確率収束（Convergence in Probability）

確率変数列\(\{X_n\}\)が確率変数\(Y\)に確率収束するとは、任意の\(\varepsilon > 0\)に対して：

\[\lim_{n \to \infty} P(|X_n – Y| \geq \varepsilon) = 0\]

が成り立つことです。これは\(X_n \overset{p}{\to} Y\)と表記されます。

分布収束（Convergence in Distribution）

確率変数列\(\{X_n\}\)の分布関数\(F_n(x)\)が確率分布\(G\)に分布収束するとは、\(G\)のすべての連続点\(x\)において：

\[\lim_{n \to \infty} F_n(x) = G(x)\]

が成り立つことです。これは\(X_n \overset{d}{\to} Y\)または\(F_n \overset{d}{\to} G\)と表記されます。

大数の法則と中心極限定理

大数の弱法則

\(X_1, X_2, \ldots, X_n\)が平均\(\mu\)、有限な分散を持つ同一の分布に独立に従うとき、標本平均\(\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i\)は\(\mu\)に平均二乗収束します：

\[\bar{X}_n \overset{L^2}{\to} \mu\]

さらに確率収束も成り立ちます：

\[\bar{X}_n \overset{p}{\to} \mu\]

中心極限定理

\(X_1, X_2, \ldots, X_n\)が平均\(\mu\)、分散\(\sigma^2\)の同一の分布に独立に従うとき、標準化された標本平均について以下の分布収束が成り立ちます：

\[\frac{\sqrt{n}(\bar{X}_n – \mu)}{\sigma} \overset{d}{\to} N(0, 1)\]

これは実用的には：

\[\bar{X}_n \overset{d}{\to} N\left(\mu, \frac{\sigma^2}{n}\right)\]

と解釈されます。

連続修正

離散分布を中心極限定理によって正規分布で近似する際、区間幅を0.5だけずらして精度を向上させる手法です。

例：\(X \sim \text{Bin}(n, p)\)、\(Y \sim N(np, np(1-p))\)として：

\[P(a \leq X \leq b) \approx P(a – 0.5 \leq Y \leq b + 0.5)\]

高度な収束定理

連続写像定理

\(X_n \overset{d}{\to} X\)で、関数\(h\)が連続であるとき：

\[h(X_n) \overset{d}{\to} h(X)\]

が成り立ちます。

応用例: 標本平均\(\bar{X}_n\)が中心極限定理により正規分布に収束するとき、\(h(x) = x^2\)が連続関数であることから：

\[(\bar{X}_n)^2 \overset{d}{\to} \left(\mu + \frac{\sigma}{\sqrt{n}}Z\right)^2\]

ここで\(Z \sim N(0, 1)\)です。

スルツキーの補題

\(U_n \overset{d}{\to} U\)、\(V_n \overset{p}{\to} a\)（定数）であるとき：

\(U_n + V_n \overset{d}{\to} U + a\)
\(U_n V_n \overset{d}{\to} aU\)

が成り立ちます。

デルタ法

正規分布に分布収束する確率変数列\(U_n\)について：

\[U_n \overset{d}{\to} N(\mu, \sigma^2)\]

導関数が連続で\(h'(\mu) \neq 0\)を満たす関数\(h\)に対して：

\[h(U_n) \overset{d}{\to} N(h(\mu), [h'(\mu)]^2\sigma^2)\]

が成り立ちます。

応用例: 対数正規分布\(\Lambda(\mu, \sigma^2)\)の中央値推定

対数正規分布に独立に従う\(X_1, \ldots, X_n\)について、\(Y_i = \log X_i \sim N(\mu, \sigma^2)\)です。

標本平均\(\bar{Y}_n\)は：

\[\bar{Y}_n \overset{d}{\to} N\left(\mu, \frac{\sigma^2}{n}\right)\]

\(h(x) = e^x\)として、\(h'(\mu) = e^{\mu}\)なので、デルタ法により：

\[e^{\bar{Y}_n} \overset{d}{\to} N\left(e^{\mu}, \frac{e^{2\mu}\sigma^2}{n}\right)\]

つまり、中央値の推定量\(e^{\bar{Y}_n}\)の分布が近似的に正規分布に従うことがわかります。

Rによる実装：中心極限定理とデルタ法の確認

以下のコードで、理論的結果を数値実験により確認します。

# Convergence Analysis of Random Variable Sequences

# Required libraries
library(ggplot2)
library(gridExtra)
set.seed(123)

# ===========================================
# 1. Law of Large Numbers
# ===========================================

# Parameter settings
n_max <- 1000
n_sim <- 500
true_mean <- 2

# Sampling from exponential distribution
demonstrate_law_of_large_numbers <- function(n_max, n_sim, lambda = 0.5) {
  results <- matrix(0, n_sim, n_max)

  for(i in 1:n_sim) {
    # Sample from exponential distribution
    samples <- rexp(n_max, rate = lambda)
    # Calculate cumulative mean
    results[i, ] <- cumsum(samples) / (1:n_max)
  }

  return(results)
}

# Execute law of large numbers
lln_results <- demonstrate_law_of_large_numbers(n_max, n_sim)

# Visualize convergence
n_values <- 1:n_max
sample_paths <- lln_results[1:10, ]  # First 10 paths

df_lln <- data.frame(
  n = rep(n_values, 10),
  value = as.vector(t(sample_paths)),
  path = factor(rep(1:10, each = n_max))
)

p1 <- ggplot(df_lln, aes(x = n, y = value, color = path)) +
  geom_line(alpha = 0.7) +
  geom_hline(yintercept = true_mean, linetype = "dashed", color = "black", size = 1.2) +
  labs(title = "Law of Large Numbers",
       subtitle = "Sample Mean Convergence",
       x = "Sample Size n",
       y = "Sample Mean") +
  theme_minimal() +
  theme(legend.position = "none")

# ===========================================
# 2. Central Limit Theorem
# ===========================================

# Distribution changes with different sample sizes
demonstrate_clt <- function(n_values, n_sim = 10000, lambda = 0.5) {
  true_mean <- 1/lambda
  true_var <- 1/lambda^2

  results <- list()

  for(i in seq_along(n_values)) {
    n <- n_values[i]
    sample_means <- replicate(n_sim, mean(rexp(n, lambda)))

    # Standardization
    standardized <- sqrt(n) * (sample_means - true_mean) / sqrt(true_var)

    results[[i]] <- data.frame(
      value = standardized,
      n = paste("n =", n),
      sample_size = n
    )
  }

  return(do.call(rbind, results))
}

# Execute central limit theorem
n_values_clt <- c(5, 15, 30, 100)
clt_results <- demonstrate_clt(n_values_clt)

# Visualize distributions
p2 <- ggplot(clt_results, aes(x = value)) +
  geom_histogram(aes(y = ..density..), bins = 50, alpha = 0.7, fill = "skyblue") +
  stat_function(fun = dnorm, args = list(0, 1), color = "red", size = 1) +
  facet_wrap(~ n, scales = "free") +
  labs(title = "Central Limit Theorem",
       subtitle = "Standardized Sample Mean Distributions",
       x = "Standardized Value",
       y = "Density") +
  theme_minimal()

# ===========================================
# 3. Delta Method
# ===========================================

# Log-normal distribution example
demonstrate_delta_method <- function(n_values, n_sim = 5000) {
  mu <- 1
  sigma <- 0.5

  results <- list()

  for(i in seq_along(n_values)) {
    n <- n_values[i]

    # Sample from log-normal distribution
    sample_data <- matrix(rlnorm(n * n_sim, mu, sigma), nrow = n_sim)

    # Sample mean after log transformation
    log_means <- rowMeans(log(sample_data))

    # Median estimator (exp transformation)
    median_estimates <- exp(log_means)

    # Theoretical values
    theoretical_median <- exp(mu)
    theoretical_var <- exp(2*mu) * sigma^2 / n

    results[[i]] <- data.frame(
      estimate = median_estimates,
      n = paste("n =", n),
      sample_size = n,
      theoretical_mean = theoretical_median,
      theoretical_sd = sqrt(theoretical_var)
    )
  }

  return(do.call(rbind, results))
}

# Execute delta method
delta_results <- demonstrate_delta_method(c(10, 30, 100, 300))

# Visualize results
p3 <- ggplot(delta_results, aes(x = estimate)) +
  geom_histogram(aes(y = ..density..), bins = 40, alpha = 0.7, fill = "lightgreen") +
  geom_vline(aes(xintercept = theoretical_mean), color = "red", linetype = "dashed") +
  stat_function(fun = function(x) {
    n <- unique(delta_results$sample_size)[1]
    theoretical_mean <- unique(delta_results$theoretical_mean)[1]
    theoretical_sd <- sqrt(exp(2) * 0.25 / n)
    dnorm(x, theoretical_mean, theoretical_sd)
  }, color = "blue", size = 1) +
  facet_wrap(~ n, scales = "free") +
  labs(title = "Delta Method",
       subtitle = "Log-Normal Distribution Median Estimator",
       x = "Estimate",
       y = "Density") +
  theme_minimal()

# ===========================================
# 4. Convergence Rate Comparison
# ===========================================

# Compare mean square convergence and probability convergence
compare_convergence_rates <- function(n_values, n_sim = 1000) {
  results <- data.frame()
  true_mean <- 2

  for(n in n_values) {
    # Sample from exponential distribution
    sample_means <- replicate(n_sim, mean(rexp(n, rate = 0.5)))

    # Mean square error
    mse <- mean((sample_means - true_mean)^2)

    # Probability convergence (P(|X_n - μ| > ε))
    epsilon <- 0.1
    prob_deviation <- mean(abs(sample_means - true_mean) > epsilon)

    results <- rbind(results, data.frame(
      n = n,
      mse = mse,
      prob_deviation = prob_deviation
    ))
  }

  return(results)
}

# Calculate convergence rates
n_sequence <- seq(10, 500, by = 10)
convergence_comparison <- compare_convergence_rates(n_sequence)

# Visualize convergence rates
p4 <- ggplot(convergence_comparison, aes(x = n)) +
  geom_line(aes(y = mse, color = "MSE"), size = 1) +
  geom_line(aes(y = prob_deviation, color = "Probability Deviation"), size = 1) +
  scale_y_log10() +
  labs(title = "Convergence Rate Comparison",
       subtitle = "Exponential Distribution Sample Mean",
       x = "Sample Size n",
       y = "Error (Log Scale)",
       color = "Type") +
  theme_minimal() +
  theme(legend.position = "bottom")

# ===========================================
# Display Results
# ===========================================

# Integrated graph display
grid.arrange(p1, p2, p3, p4, nrow = 2, ncol = 2)

# ===========================================
# 数値結果のサマリー
# ===========================================

cat("=== 収束分析の数値結果 ===\\n\\n")

# 大数の法則の収束確認
final_means <- lln_results[, n_max]
cat("大数の法則（n = 1000）:\\n")
cat(sprintf("理論値: %.3f\\n", true_mean))
cat(sprintf("平均: %.3f\\n", mean(final_means)))
cat(sprintf("標準偏差: %.3f\\n", sd(final_means)))
cat(sprintf("95%%の標本平均が [%.3f, %.3f] の範囲内\\n",
            quantile(final_means, 0.025), quantile(final_means, 0.975)))

cat("\\n中心極限定理の正規性検定（最大サンプルサイズ）:\\n")
largest_n_data <- clt_results[clt_results$sample_size == max(n_values_clt), ]
shapiro_result <- shapiro.test(sample(largest_n_data$value, 5000))
cat(sprintf("Shapiro-Wilk検定 p値: %.4f\\n", shapiro_result$p.value))
cat(sprintf("結論: %s\\n",
            ifelse(shapiro_result$p.value > 0.05, "正規分布と適合", "正規分布から逸脱")))

cat("\\nデルタ法の妥当性確認:\\n")
largest_delta <- delta_results[delta_results$sample_size == max(unique(delta_results$sample_size)), ]
theoretical_mean <- unique(largest_delta$theoretical_mean)
theoretical_sd <- unique(largest_delta$theoretical_sd)
observed_mean <- mean(largest_delta$estimate)
observed_sd <- sd(largest_delta$estimate)

cat(sprintf("理論的平均: %.3f, 観測平均: %.3f\\n", theoretical_mean, observed_mean))
cat(sprintf("理論的SD: %.3f, 観測SD: %.3f\\n", theoretical_sd, observed_sd))
cat(sprintf("相対誤差 (平均): %.2f%%\\n", abs(theoretical_mean - observed_mean)/theoretical_mean * 100))
cat(sprintf("相対誤差 (SD): %.2f%%\\n", abs(theoretical_sd - observed_sd)/theoretical_sd * 100))

cat("\\n収束速度の傾向:\\n")
recent_convergence <- tail(convergence_comparison, 5)
cat("サンプルサイズ増加に伴う改善:\\n")
for(i in 1:nrow(recent_convergence)) {
  cat(sprintf("n=%3d: MSE=%.4f, P(偏差>0.1)=%.3f\\n",
              recent_convergence$n[i],
              recent_convergence$mse[i],
              recent_convergence$prob_deviation[i]))
}

出力結果

=== 収束分析の数値結果 ===

大数の法則（n = 1000）:
理論値: 2.000
平均: 1.999
標準偏差: 0.060
95%の標本平均が [1.886, 2.123] の範囲内

中心極限定理の正規性検定（最大サンプルサイズ）:
Shapiro-Wilk検定 p値: 0.0000
結論: 正規分布から逸脱

デルタ法の妥当性確認:
理論的平均: 2.718, 観測平均: 2.719
理論的SD: 0.078, 観測SD: 0.076
相対誤差 (平均): 0.04%
相対誤差 (SD): 3.08%