Mathématiques du traitement du signal/Info

Borne de Cramer-Rao

Enoncé

Soit $f_{\theta }(x)$ une densité de proba paramétrée par $\theta$ dont le domaine est $\mathrm{\Theta }$. Soit ${\theta }^{*}$ un estimateur de $\theta$.

On note:

• $\ell (x,\theta )=\ln f_{\theta }(x)$ la log vraisemeblance de $f_{\theta }$
• $L(X,\theta )=\sum _{n=1}^N\ln f_{\theta }(x_n)$ la log vraisemblance d'un échantillon $X=(x_n{)}_{1\le n\le N}$
• et $a(\theta )={𝐄}_{\theta }({\theta }^{*})=\theta +b(\theta )$ qui définie l'espérance $a$ et le biais $b$ de l'estimateur ${\theta }^{*}$.

On suppose que $\sqrt{f_{\theta }(x)}$ est presque-partout continuement différentiable en $\theta$ ; et que l' information de Fisher :

$II(\theta )=\underset{x}{\int }\frac{f{\text{'}}_{\theta }(x{)}^2}{f_{\theta }(x)}d\mu (x)={𝐄}_{\theta }({\ell }^{\prime }(x_1,\theta ){)}^2$

existe et est donc continue et positive en $\theta$.

Théorème de Cramer-Rao. Lorsque ${𝐄}_{\theta }({\theta }^{*}{)}^2$ existe et est bornée, alors:

${𝐕}_{\theta }({\theta }^{*})\ge \frac{(1+b^{\prime }(\theta ){)}^2}{nII(\theta )}$

et lorsque cette inégalité est atteinte sur un intervalle en $\theta$, sur lequel la variance ${𝐕}_{\theta }({\theta }^{*})$ est non nulle, alors sur ce même intervalle:

$f_{\theta }(X)=\exp ({\theta }^{*}A(\theta )+B(\theta ))h(X)$

La réciproque est vraie.

Interprétation

Cela signifie que la variance d'un estimateur est au mieux en $II(\theta {)}^{-1}$ par point disponible dans l'échantillon.

Pour mieux comprendre ce que cela signifi, calculons par exemple l'information de Fisher associée à une distribution gaussienne.

Information de Fisher d'une gaussienne

Pour cela, une définition mutlivariée (en terme de l'espace des paramètres) de l'information deFicher est nécessaire:

$II(\theta )=||I_{ij}(\theta )||,I_{ij}(\theta )={𝐄}_{\theta }(\frac{\partial }{\partial {\theta }_i}\ell (x_1,\theta )\cdot \frac{\partial }{\partial {\theta }_j}\ell (x_1,\theta ))$

En notant $\phi (x,\theta )=2\left(\sqrt{f_{\theta }(x)}\right)$, on a :

$II(\theta )=\underset{x}{\int }{\phi }^T(x,\theta )\cdot \phi (x,\theta )d\mu (x)$

Références

• Mathematical Statistics, by A. A. Borovkov