Lähdekoodi sivulle Moni-imputointi

'''Moni-imputointi''' on menetelmä, jonka avulla voidaan paikata [[puuttuva tieto|puuttuvaa tietoa]]. Tiedon puuttuminen on suhteellisen yleistä, koska esimerkiksi kyselytutkimuksissa vastauksia ei saada jokaiselta otoksen [[tilastoyksikkö|tilastoyksiköltä]] tai kaikki vastanneet eivät vastaa tutkimuksen jokaiseen kysymykseen. [[data|Datan]] analysoinnin kannalta tällainen [[puuttuva tieto]] voi olla ongelmallista, koska vastaamattomuus saattaa olla satunnaisen puuttumisen sijaan systemaattista.
Tulokset voivat olla harhaisia, sillä kyselyyn vastanneet saattavat poiketa niistä, jotka eivät ole jostain syystä vastanneet.<ref name="viite2"/> [[puuttuva tieto|Puuttuvaa tietoa]] voidaan kuitenkin imputoida sen sijaan, että käytettäisiin pelkästään havaittuja arvoja tai vain [[puuttuva tieto|täydellisiä havaintorivejä]].<ref name="viite1"/> Moni-imputointi kannattaa, koska se on yleensä tehokkaampi menetelmä kuin täydellisten havaintorivien käyttö.<ref name="viite1"/>

== Imputointi ==

[[Tilastotiede|Tilastotieteessä]] imputointi on puuttuvien havaintojen paikkaamista. Ns. kunnollinen imputointi mahdollistaa aineiston pohjalta tehtävän validin tilastollisen päättelyn.<ref name="viite3"/> Imputointi ei kuitenkaan ole ennustamista. Lähtökohtana on epätäydellinen data, josta saadaan monta uutta imputoitua dataa, joissa puuttuvat arvot on korvattu joillakin datan suhteen uskottavilla arvoilla, mutta havaitut arvot pysyvät ennallaan.<ref name="viite1"/> Usein esimerkiksi viisi uutta dataa riittää.<ref name="viite2"/>

Kiinnostavat parametrit estimoidaan sitten jokaisesta imputoimalla saadusta täydellisestä datasta. Jokaista saatua uutta aineistoa käsitellään kuten täydellistä dataa. Imputointiin liittyy kuitenkin epävarmuutta, jonka vuoksi tulokset poikkeavat toisistaan joka datassa, ja siten ne eroavat myös alkuperäisestä täydellisestä datasta. Lopuksi imputoitujen aineistojen parametrien estimaatit poolataan yhdeksi estimaatiksi. Myös [[varianssi]] estimoidaan.<ref name="viite1"/> Moni-imputointikeskiarvon ja sen varianssin voi laskea ns. Rubinin kaavoilla.

Imputointi on kannattaa tehdä jotakin ohjelmistoa, kuten R, SAS, Stata tai [[SPSS]], käyttäen. R:ssä imputoinnin voi tehdä esimerkiksi mice-paketin avulla.<ref name="viite1"/>

== Rubinin kaavat ==

Moni-imputoitujen aineistojen tulokset voidaan yhdistää [[:en:Donald Rubin|Rubinin]] kaavoja käyttäen:

Moni-imputointikeskiarvo:

<math>\bar{\theta}_D=\frac{1}{D}\sum_{d=i}^D\hat{\theta}_d</math>,

jossa <math>\hat{\theta}_d</math> on kiinnostuksen kohteena olevan parametrin piste-estimaatti ja <math>D</math> imputoitujen aineistojen lukumäärä.

Varianssi moni-imputointikeskiarvolle:

<math>\hat T_D=\frac{1}{D}\sum_{d=i}^D\hat W_d+ \frac{D+1}{D(D-1)}\sum_{d=i}^D \left(\hat{\theta}_d - \bar{\theta}_D\right ) ^2</math>,

jossa <math>\hat W_d</math> varianssi imputoidussa otoksessa.<ref name="viite2"/>

== Imputointi keskiarvon avulla ==

Puuttuvat havainnot voi korvata esimerkiksi aineiston keskiarvolla, mutta tätä tulisi välttää. Keskiarvoimputointi toiminee vain hätäapuna tapauksissa, joissa ainoastaan muutama havainto puuttuu. Imputoiminen keskiarvolla aliestimoi varianssia, vääristää muuttujien suhdetta, ja aiheuttaa estimaattien harhaa puuttuvuuden ollessa täysin satunnaista [[puuttuva tieto|(MCAR)]].<ref name="viite1"/> Moni-imputointiin keskiarvoimputointia ei voi käyttää, koska jokainen imputoitu aineisto olisi kuitenkin samanlainen.

== Imputointi regressiota käyttäen ==

Regressioimputointi tuottaa harhattomia estimaatteja keskiarvolle, mikäli puuttuvuus on täysin satunnaista [[puuttuva tieto|(MCAR)]]. Aluksi havaitusta datasta rakennetaan malli, jonka sovitteesta lasketut ennusteet korvaavat puuttuvat havainnot. Stokastinen regressioimputointi on hienostuneempi versio regressioimputoinnista.

== Numeerinen esimerkki ==
Oletetaan, että <math>X</math> ja <math>Y</math> ovat satunnaisotoksia populaatiosta, mutta osa <math>Y</math>:n havainnoista puuttuu. Tavoitteena on estimoida <math>\overline{Y}</math>.


{| {{Wikitable}} <!-taulukon määrite-->
|-
! <math>Y</math>
! <math>X</math>
|-
|-
| 10
| 8
|-
| ?
| 9
|-
| 14
| 11
|-
| ?
| 13
|-
| 16
| 16
|-
| 15
| 18
|-
| 20
| 6
|-
| 4
| 4
|-
| 18
| 20
|-
| 22
| 25
|}

<math>Y</math>:n puuttuvat havainnot voidaan imputoida esimerkiksi ottamalla huomioon kaksi lähintä arvoa. Tässä arvot 10 ja 14 ovat lähimpänä ensimmäistä puuttuvaa havaintoa ja arvot 14 ja 16 lähimpänä toista puuttuvaa havaintoa. Nyt <math>Y</math>:n ensimmäisen puuttuvan arvon tilalle arvotaan jompi kumpi näistä kahdesta havaituista arvosta. Tässä yksinkertaisessa tekaistussa esimerkissä imputointi tehdään vain kaksi kertaa.

Oletetaan, että ensimmäisellä imputointikerralla ensimmäisen puuttuvan havainnon arvoksi saadaan 10 ja toisella kerralla 14. Toiselle puuttuvalle havainnolle arvonta suoritetaan vastaavasti, ja saadaan arvot 16 ja 14. Ensimmäinen imputoitu aineisto on siten:

{| {{Wikitable}} <!-taulukon määrite-->
|-
! <math>Y</math>
! <math>X</math>
|-
|-
| 10
| 8
|-
| 10
| 9
|-
| 14
| 11
|-
| 16
| 13
|-
| 16
| 16
|-
| 15
| 18
|-
| 20
| 6
|-
| 4
| 4
|-
| 18
| 20
|-
| 22
| 25
|}

Toisen imputoidun aineiston ollessa:
{| {{Wikitable}} <!-taulukon määrite-->
|-
! <math>Y</math>
! <math>X</math>
|-
|-
| 10
| 8
|-
| 14
| 9
|-
| 14
| 11
|-
| 14
| 13
|-
| 16
| 16
|-
| 15
| 18
|-
| 20
| 6
|-
| 4
| 4
|-
| 18
| 20
|-
| 22
| 25
|}

Nyt ensimmäisen imputoidun aineiston <math>\overline{y}</math>=14.5 ja toisen aineiston <math>\overline{y}</math>=14.7.

[[Estimaatti]] (engl. [[:en: ratio estimator|ratio estimator]]) saadaan laskettua kaavalla <math>\overline{X}\overline{y}/\overline{x}</math>. Oletetaan nyt, että populaatiokeskiarvo <math>\overline{X}</math> tunnetaan, ja se on 12. Aivan ensimmäisenä imputoidun aineiston estimaatiksi saadaan siten (12*14.5)/13=13.38, toisen vastaavasti (12*14.7)/13 =13.57.

[[piste-estimaatti|Piste-estimaatin]] [[varianssi]] lasketaan kaavalla <math>SD^{2}/n</math>, jossa
<math>SD^{2}= {\Sigma}_i(Y_i - X_i\overline{y}/ \overline{x} )^{2}/(n-1)</math>.
Tässä esimerkissä otoskoko n on 10. Nyt ensimmäisen imputoidun datan piste-estimaatin [[varianssi|varianssiksi]] saadaan siis 2.96 ja toisen 3.19.<ref name="viite2"/>

R:llä piste-estimaatin [[varianssi|varianssin]] voi laskea esimerkiksi seuraavalla tavalla:

y <- c(10,10,14,16,16,15,20,4,18,22)

x <- c(8,9,11,13,16,18,6,4,20,25)

n <- length(x)

sum(((y-x*mean(y)/mean(x))^2/(n-1)))/n

Imputoiduista datoista saadut tulokset voidaan nyt yhdistää Rubinin kaavoilla:

D <-2

Moni-imputointikeskiarvo:

theta <-1/D*(13.38+13.57)

ja sen varianssi:

1/D*(2.96+3.19)+((D+1)/(D*(D-1)))*((13.38-theta)^2+(13.57-theta)^2)

Moni-imputointikeskiarvoksi saadaan siten 13.48 ja sen varianssiksi 3.10.

Laskimella saman voi laskea seuraavasti:

Piste-estimaatin varianssi ensimmäiselle imputoidulle aineistolle:

(((10-8*(14.5/13))^2 + (10-9*(14.5/13))^2 + (14-11*(14.5/13))^2 +
(16-13*(14.5/13))^2 + (16-16*(14.5/13))^2 +(15-18*(14.5/13))^2 +
(20-6*(14.5/13))^2 + (4-4*(14.5/13))^2 + (18-20*(14.5/13))^2 +
(22-25*(14.5/13))^2)/9)/10.

Moni-imputointikeskiarvo:

0.5*(13.38+13.57)

ja sen varianssi:

0.5*(2.96+3.19)+(3/2)*((13.38-14.6)^2+(13.57-14.6)^2)

== Lähteet ==
{{Viitteet|viitteet=
<ref name="viite1">Buuren, Stef van (2012). Flexible Imputation of Missing data. Chapman & Hall/CRC.</ref>
<ref name="viite2">Rubin, Donald B. (1987). Multiple Imputation for Nonresponse in Surveys. John Wiley & Sons. New York.</ref>
<ref name="viite3">"http://www.stefvanbuuren.nl/mi/MI.html. Multiple imputation. Buuren, Stef van. Viitattu 21.4.2014.</ref>
}}
[[Luokka:Tilastotiede]]