フィッシャー情報量とは何か

推定における重要な問いは「未知パラメータをどれだけ精密に推定できるか」です。
フィッシャー情報量は、この問いに理論的な答えを与える中心概念です。

1. 基本アイデア

情報量が大きいとは、パラメータを少し動かしたときに尤度が大きく変化することを意味します。
つまり、データが真のパラメータの位置をより鋭く示してくれる状態です。

2. スコア関数との関係

フィッシャー情報量は、対数尤度の傾き（スコア）のばらつきとして理解できます。
スコアの変動が大きいほど、モデルはパラメータについて多くの情報を持つと解釈されます。

3. 観測情報量

実務では真のパラメータは未知なので、推定値を使って観測情報量を計算し、標準誤差や信頼区間の近似に利用します。

4. 推定精度との関係

フィッシャー情報量はクラメール・ラオ下限と結びついており、 「どれだけ頑張っても越えられない推定精度の理論限界」を与えます。

まとめ

• フィッシャー情報量は、モデルがパラメータについて持つ識別力を表す。
• 推定精度の理論限界と直結する。
• 推定量設計・区間推定・実験計画の基礎になる概念である。

Fisher Information: Understanding Estimation Precision

Change the standard deviation σ and observe how the sharpness of the likelihood function, the slope of the score function, and the Fisher Information change together.

Standard Deviation σ:1.0

Fisher Information: 5.00

Estimation Lower Bound: 0.200

Score Function Slope: -5.0

Log-Likelihood Function

Small σ → Sharp peak → Easy to estimate

Score Function

Small σ → Steep slope → Sensitive to small errors

Fisher Information I(σ)

Small σ → High Fisher Info → High precision

Key Points:

• • Small σ → Sharp likelihood, steep score slope, high Fisher Information → High precision estimation
• • Large σ → Flat likelihood, gentle score slope, low Fisher Information → Low precision estimation
• • Fisher Information I(σ) = n/σ² quantifies the "curvature" of the likelihood function
• • Higher Fisher Information → Lower estimation variance (Cramér-Rao bound: Var ≥ 1/I)

Try this: Move the σ slider from 0.3 to 2.0 and observe how:
1) The likelihood function becomes "sharper" (smaller σ)
2) The score function slope becomes "steeper" (smaller σ)
3) The Fisher Information becomes "higher" (smaller σ)
This demonstrates why smaller noise leads to more precise parameter estimation.