Fisher-informaatio

Matemaattisessa tilastotieteessä ja informaatioteoriassa Fisher-informaatio voidaan määritellä pistemääräfunktion varianssina, tai havaitun informaation odotusarvona. Bayesiläisessä tilastotieteessä posteriorin asymptoottinen jakauma riippuu Fisher-informaatiosta, eikä priorista. Fisher-informaatiota käytetään bayesiläisessä tilastotieteessä myös Jeffreysin priorin laskemiseen.

Määritelmä

Fisher-informaatiota merkitään $ℐ(\theta )$ ja sen tarkoitus on mitata kuinka paljon informaatiota havaittu aineisto $X$ sisältää parametrista $\theta$. Koska pistemääräfunktion ensimmäinen momentti, eli odotusarvo on nolla niin sen varianssiksi, eli Fisher-informaatioksi, saadaan sen toinen momentti:

$ℐ(\theta )=\mathrm{E}\left[{(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^2|\theta \right]=\int {(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^{2}f(X;\theta )dX,$

Mikäli log f(x; θ) on mahdollista derivoida kahdesti, voidaan Fisher-informaatio esittää myös muodossa:

$ℐ(\theta )=-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )|\theta \right].$

Fisher-informaation voidaankin katsoa mittaavaan kaarevuutta suurimman uskottavuuden estimaatin $\hat{\theta }$ lähellä. Itseisarvoltaan pienen Fisher-informaation omaavien uskottavuusfunktioiden kuvaajat ovat tasaisia ja sisältävät vähän informaatiota, kun taas paljon informaatiota sisältävien kuvaajat ovat kaarevampia ja Fisher-informaatio itseisarvoltaan suurempia.

Ominaisuuksia

Additiivisuus

Fisher-informaatio on additiivista. Toisistaan riippumattomien otosten sisältämän informaation määrä on otosten Fisher-informaatioiden summa.

${ℐ}_{X,Y}(\theta )={ℐ}_X(\theta )+{ℐ}_Y(\theta )$

Tyhjentävyys

Tyhjentävän tunnusluvun sisältämä Fisher-informaatio on sama kuin otoksen $X$. Jos $T(X)$ on tyhjentävä tunnusluku parametrille $\theta$, niin silloin

$f(X;\theta )=g(T(X),\theta )h(X)$

joillekin funktioille g ja h.

Matriisimuoto

Olkoon N parametria siten, että $\theta$ on Malline:Nowrap vektori $\theta ={\left[\begin{array}{c}{\theta }_1,{\theta }_2,\dots ,{\theta }_N\end{array}\right]}^{\mathrm{T}},$ niin Fisher-informaatiomatriisi on Malline:Nowrap matriisi:

${\left(ℐ\left(\theta \right)\right)}_{i,j}=\mathrm{E}\left[(\frac{\partial }{\partial {\theta }_i}\log f(X;\theta ))(\frac{\partial }{\partial {\theta }_j}\log f(X;\theta ))|\theta \right].$

Fisher-informatiomatriisi on Malline:Nowrap positiivisesti semidefiniitti symmetrinen matriisi. Tietyin oletuksin tämä matriisi voidaan esittää muodossa:

${\left(ℐ\left(\theta \right)\right)}_{i,j}=-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}\log f(X;\theta )|\theta \right].$

Katso myös

• Jeffreysin priori
• Kullback–Leibler divergenssi

Lähteet

• Frieden, B. Roy (2004) Science from Fisher Information: A Unification. Cambridge Univ. Press. Malline:ISBN.
• Schervish, Mark J. (1995) Theory of Statistics, New York, Springer, kappale 2.3.1, Malline:ISBN