指数型分布族

2025年8月15日

ベルヌーイ・ポアソン・正規分布を共通形式で捉える指数型分布族を、統一的な視点で解説します。

ProbabilityExponential FamilyGLM

はじめに

指数型分布族は、多くの確率分布を一つの枠組みで表す方法です。

一般形は

p(x\mid\theta)=h(x)\exp\{\eta(\theta)T(x)-A(\theta)\}

で、主に次を表します。

$T(x)$ ：十分統計量
$\eta(\theta)$ ：自然パラメータ
$A(\theta)$ ：対数分配関数（正規化）

1. なぜ便利か

指数型分布族で書けると、

最尤推定が整理しやすい
十分統計量が明確になる
GLM（一般化線形モデル）と自然に接続できる

という利点があります。

2. 代表例

ベルヌーイ分布

P(X=x)=p^x(1-p)^{1-x}

は指数型分布族の形に書き直せます。 $T(x)=x$ 、自然パラメータは $\log\frac{p}{1-p}$ です。

ポアソン分布

P(X=x)=\frac{\lambda^x e^{-\lambda}}{x!}

も同様に指数型分布族に入り、 $T(x)=x$ 、自然パラメータは $\log\lambda$ です。

正規分布（分散既知）

平均をパラメータにした正規分布も指数型分布族で表せます。

3. 対数分配関数の役割

$A(\theta)$ は分布を正規化するだけでなく、微分によって平均や分散などのモーメント情報を与えます。

$A'(\theta)$ ：平均に対応
$A''(\theta)$ ：分散に対応

4. GLMとの関係

GLMでは、応答分布として指数型分布族を仮定し、リンク関数で平均構造を結びます。

ロジスティック回帰（ベルヌーイ）
ポアソン回帰（ポアソン）

などはこの統一的枠組みの具体例です。

インタラクティブデモ

下のデモで分布ごとのパラメータを変え、指数型分布族としての共通構造と違いを比較できます。

Exponential Family Builder

Explore exponential family distributions interactively

Distribution

Bernoulli Distribution

Models binary outcomes (0 or 1)

Poisson Distribution

Models count data

Normal Distribution (σ² = 1)

Gaussian distribution with fixed variance σ² = 1

Natural Parameter η = 0.500

-33

Distribution Visualization

Exponential Family Form

Standard Form

p(x) = pˣ(1-p)¹⁻ˣ

Maximum Probability

Distribution Type

Discrete

Components

h(x) - Base Measure

Constant (same for all x)

T(x) - Sufficient Statistic

Identity function (x itself)

η - Natural Parameter

0.500

Controls the distribution shape

A(θ) - Log-partition

A(θ)

Ensures normalization

Parameter Relationship

η = log(p/(1-p)), where p = 1/(1+e⁻η)

Understanding Exponential Families

General Form

All exponential family distributions can be written as:

p(x) = h(x) × exp(η×T(x) - A(θ))

Component Roles

h(x): Determines the support and basic shape of the distribution

T(x): Captures sufficient information about the data

η: Natural parameter that controls the distribution's characteristics

A(θ): Log-partition function ensuring proper normalization

まとめ

指数型分布族は多くの分布を共通形式で表す枠組み。
十分統計量・自然パラメータ・対数分配関数が中心。
推定理論やGLMを理解する土台になる。