クラメール・ラオの限界

・統計学におけるクラメール・ラオの限界(CRB)（クラメールラオのげんかい、）（クラメール・ラオの下限(CRLB)、クラメール・ラオの不等式、Frechet–Darmois–Cramér–Rao 不等式、情報不等式とも）とは、ある確率分布の未知母数を推定する不偏推定量には、その分散についてある下限値が存在することを示すものである。名称は、1940年代にそれぞれ独立に推定精度に関する限界を見出した、ハラルド・クラメール、カリャンプディ・ラダクリシュナ・ラオ、モーリス・ルネ・フレシェ、にちなむ。

最も単純に述べると、『任意の不偏推定量の分散は、そのフィッシャー情報量の逆数以上になる』というものである。不偏な推定量がこの下限を達成するとき、その推定量は（完全な）であるという。この場合、その推定量はあらゆる不偏推定量の中で平均二乗誤差が最小のものとなるため、必然的に（MVU推定量）にもなる。

しかしながら、どんな不偏推定量を考えても分散が決してクラメール・ラオの下限に到達できないようなケースもある（MVU推定量が存在するときでもこれは起こりえる）。

クラメール・ラオの限界には、不偏でない推定量に対するバージョンもある。不偏性の条件を取り除くことで、推定量の分散・平均二乗誤差が、不偏の場合のクラメール・ラオの下限を「下回る」ようなケースも存在する。推定量の偏りも参照。

主張ここでは、母数が1つ・推定量が不偏である場合から始めて、いくつかのかなり一般的な場合へと拡張していく。どのバージョンでもある種の正規性の仮定をおくが、それはほとんどの「普通のふるまいをする」確率分布については成り立つものである。この条件については後述する。

母数が1つで推定量が不偏の場合何らかの確率密度関数に従って分布する量の観測値から、未知母数を推定することを考える。このとき、に対する任意の不偏な推定量の分散は、フィッシャー情報量の逆数以上になる：

フィッシャー情報量は

と定義される。ここで、は尤度の自然対数をとったもの（なおをという）で、は平均を表す。

不偏推定量の有効度は、推定量の分散がこの下限にどの程度接近しているかを測る指標で、次のように定義される。

不偏推定量の分散の下限値を、実際の分散で割った値、ともいえる。クラメール・ラオの下限よりとなる。

母数が1つで、母数の関数の値を推定する場合より一般に、確率変数の関数を用いて、母数の関数を推定することを考える。であるとする。このときの分散の下限は、

ここではのによる微分、はフィッシャー情報量である。

母数が1つで推定量が不偏とは限らない場合母数の推定量にだけの偏りがあるとする。

と置いて前項の結果を使うと、

不偏のときの不等式は、とした特別な場合である。

分散を小さくすることだけを考えるなら、定数関数となる「推定量」をとれば、分散はゼロである。しかし上記の式から、推定量の平均二乗誤差には

という下限が存在することになる。ここで、平均二乗誤差の標準的な分解式

を用いた。

注意：もしであれば、不偏のときのクラメール・ラオの下限を下回ることもある。例えば、後述する例では、となる。

母数が複数（ベクトル値）の場合クラメール・ラオの限界を、母数が複数の場合にも拡張しよう。母数ベクトルを

とし（右肩の T は転置を表す（以下同じ））、それによって決まる確率密度関数を考える。は後述の正規性の条件をみたすものとする。フィッシャー情報行列は、行列で、その成分が

で定まる行列のことである。を、母数ベクトルの任意の推定量としよう：。ここで、各成分の平均を並べた平均ベクトルをと記す。

このとき、の分散共分散行列に対するクラメール・ラオの限界は、

となる。ここで、行列に対する不等式は、行列の差が非負定値であるということである。はヤコビ行列（成分が）である。

もしがの不偏推定量であれば（つまりであれば）クラメール・ラオの限界は

のようになる。フィッシャー情報行列の逆行列を計算するのが面倒な場合は、単に対応する対角成分の逆数をとることで、（より緩いかもしれないが）1つの下限が得られるFor the Bayesian case, see eqn. (11) of 。

正規性の条件クラメール・ラオの不等式が成り立つための確率密度関数と推定量に関する2つの弱い十分条件は、次のとおりである: フィッシャー情報量が常に定義されていること。言い換えると、次式をで積分した値が有限値として存在すること。

の期待値について、についての積分と、についての偏微分が交換可能である、つまり

が、右辺が存在する限り成り立つこと。

この条件は、以下のいずれかの場合が成り立つことをもって確認されることが多い：関数は、に依らない有界な関数の台（非ゼロとなる定義域）を持つ。に依らない可積分関数が存在してを上から抑える。つまり、

フィッシャー情報量の変形がで2階偏微分可能であるとすると、フィッシャー情報量は

（3番目の等号の箇所で

であることを用いた）

と変形でき、クラメール・ラオの不等式は次のようにも書ける。

こちらの公式の方が下限を評価するのにより有用な場合がある。

母数が1つの場合の証明母数が1つの場合のクラメール・ラオの不等式を一般的に証明する。

を、確率密度関数がとなる確率分布に従う確率変数とし、はの関数で、母数の関数であるの不偏推定量であるとする。つまり、。

目標は、任意のに対して

を示すことである。

を次のように定義する（これはスコア関数である）：

ここで連鎖律を使った。の期待値はゼロである。なぜなら：

ここで積分と偏微分の順序が交換可能であること（正規性の条件の2番目）を使った。

との共分散は、だから、よって次式を得る。

ここで再び、積分と微分が交換可能であるという条件（正規性の条件の2番目）を使った。

コーシー・シュワルツの不等式から、

よって

これが示したかったことである。

観測を繰り返し行うときの注意確率変数列を使って推定を行う場合について、未知母数が1つ（）のときに絞って概要を述べる。と書くことにする。尤度関数は、結合確率密度関数で与えられる（標本の値が代入されたとしての関数とみなしている）。スコア関数は、尤度関数の自然対数をとってからで偏微分したものである。

これらはいずれも実数値関数であるので、フィッシャー情報量も実数値であり、

となる。

本記事でここまでに述べた事柄は、次の置き換えをすれば基本的に全て同じ形式で成り立つ。

特に、確率変数列が独立同分布で、その確率密度関数がであるとすると、尤度関数はスコア関数はフィッシャー情報量は

となる。

例

多変量正規分布平均値ベクトル、分散共分散行列が未知母数ベクトルで定まるような、一般的な d 次元正規分布の場合、

フィッシャー情報行列の成分は、

ここで "tr" は行列のトレースを表す。

より簡単な例として、平均が未知で分散が既知の正規分布から、独立に回抽出してえられる標本量ベクトルをとする。

ここでは 1 を d 個並べたベクトル、は d 次単位行列である。未知母数が1つなのでフィッシャー情報量は

とスカラーで与えられ、クラメール・ラオの下限は

平均が既知の正規分布の場合を、平均が既知、分散が未知の正規分布に従う独立な確率変数（列）だとする。次のような統計量を考えよう：

このときより、はの不偏推定量になる。

の分散は、

（2番目の等号は分散の定義）。第1項は正規分布の4次の中心モーメントであり、に等しい。第2項は分散の2乗、つまりである。よって

一方フィッシャー情報量については、まず、観測1回あたりのスコア関数が尤度関数から次のように計算できる。

最後の等号は簡単な計算でわかる。この情報量は、をもう一度偏微分してから平均をとり、マイナス1倍したものに等しい。

回の独立な観測の情報量は、これを単純に倍したものになり、

クラメール・ラオの不等式はだが、この場合は等号が成り立っているため、推定量がであることがわかる。

不偏でない推定量を用いれば、分散及び平均二乗誤差をより小さくすることもできる。例えばとすれば、分散は明らかにより小さくなる。実際

ここで偏りはであり、平均二乗誤差は、『（平均二乗誤差(MSE)）＝（分散）＋（偏りの2乗）』の分解式から

となる。こちらも不偏推定量のときの

を下回っている。

正規母集団の平均も分散も未知の場合、分散の推定量の平均二乗誤差が最小になるのは、を平均の推定量として

のときである（分母が n − 1 や n + 2 のときではない）。

クラメール・ラオの限界

Źródło i licencja