Variantieanalyse

Variantieanalyse, een begrip uit de statistiek, vaak aangeduid als ANOVA (van het Engelse Analysis of variance), is een toetsingsprocedure om na te gaan of de populatiegemiddelden van meer dan 2 groepen van elkaar verschillen. Het is in die zin een generalisatie van de t-toets voor twee steekproeven. De term variantieanalyse verwijst naar de uiteenlegging (analyse) van de totale variantie van de gemeten grootheid in twee delen, de variantie binnen de groepen (binnenvariantie) en de variantie tussen de groepen (tussenvariantie) die met elkaar vergeleken worden. De analysetechniek is bedacht door de Britse statisticus en geneticus Ronald Aylmer Fisher in de jaren 1920–1930.

Voorbeeld

Een eenvoudig voorbeeld, met drie groepen, zal de gedachtegang verduidelijken.

De vraag is of er tussen drie verschillende groepen wat de lichaamslengte van de personen uit die groepen betreft, systematische verschillen zijn, of dat eventuele verschillen zuiver op toeval berusten. Om dat te onderzoeken worden Friezen, Hollanders en Limburgers met elkaar vergeleken. Is de lichaamslengte in deze groepen gemiddeld genomen dezelfde, of zijn er systematische verschillen? Duidelijk is dat binnen elke groep al verschillen in lengte zijn. Niet alle Hollanders zijn even lang en ook niet alle Friezen en Limburgers. De vraag is of er ook tussen de groepen verschillen zijn. Of bijvoorbeeld de gemiddelde lengte van Friezen anders is dan de gemiddelde lengte van Limburgers. Of de verschillende groepen een bron van variatie zijn. Natuurlijk zullen de gemiddelden van de drie groepen niet precies aan elkaar gelijk zijn. Het gaat erom of deze verschillen tussen de groepen vergelijkbaar zijn met, of veel groter zijn dan de verschillen binnen de groepen. Daartoe worden steekproeven genomen en de totale "variantie", die een maat is voor de variatie, uiteengelegd, geanalyseerd, in twee componenten, de variantie binnen de groepen en de variantie tussen de groepen. Door vergelijken van deze twee componenten kan beslist worden of de groepsgemiddelden als verschillend beschouwd mogen worden of niet.

Het bovenstaande is een voorbeeld van een eenweg-variantieanalyse. Er is sprake van één factor (afkomst), en drie niveaus (de drie groepen, Friezen, Hollanders en Limburgers). Er wordt gekeken naar of de gemiddelde waarden voor de variabele (in dit geval lengte) significant meer verschillen tussen de individuele niveaus van de factor dan dat ze verschillen binnen de individuele niveaus.

Formules

Als model wordt aangenomen dat de lichaamslengte in elk van de $I=3$ groepen een normale verdeling heeft, met verwachtingswaarden respectievelijk $\mu _{1},\ \mu _{2}$ en $\mu _{3}$ en voor elke groep dezelfde variantie $\sigma ^{2}$.

Het is gebruikelijk om het gemiddelde niveau van de $I$ groepen met $\mu$ aan te duiden en de afwijkingen daarvan met $\alpha _{i},$ dus:

$\mu _{i}=\mu +\alpha _{i}$,

zodat:

$\sum \alpha _{i}=0$

De systematische verschillen komen dan tot uiting in de $\alpha _{i}$'s.

Uit de groepen worden (onafhankelijke, aselecte) steekproeven genomen, voor het gemak alle van dezelfde omvang $K$:

$X_{11},\ldots ,X_{1K},X_{21},\ldots ,X_{2K},X_{31},\ldots ,X_{3K}$

Voor een zo'n element kan men schrijven:

$X_{ik}=\mu +\alpha _{i}+U_{ik}$

Zo is de lengte van de eerste gemeten Fries:

$X_{11}=\mu +\alpha _{1}+U_{11}$,

dus de som van het algemeen gemiddelde $\mu$, de afwijking $\alpha _{1}$ daarvan voor Friezen in het algemeen, en een persoonlijke bijdrage $U_{11}$. De persoonlijke bijdragen (storingstermen) ($U_{ij}$) zijn onderling onafhankelijk en alle $N(0,\sigma ^{2})$-verdeeld.

Als voorbeeld worden de volgende eenvoudige, fictieve getallen als uitkomst van de steekproef genomen:

Friezen: 171,181,191

Hollanders: 169,179,189

Limburgers: 161,171,181

De totale kwadratensom $SST$ van afwijkingen t.o.v. het algemeen gemiddelde $X..$ (het is gebruikelijk om gemiddelden aan te geven door de index waarover gemiddeld is, te vervangen door een stip) kan als volgt uiteengelegd worden:

$SST=\sum (X_{ik}-X..)^{2}=$

$=\sum _{i,k}(X_{ik}-X_{i}.+X_{i}.-X..)^{2}=$

$=\sum _{i,k}(X_{ik}-X_{i}.)^{2}+K\sum _{i}(X_{i}.-X..)^{2}$

In de steekproef is $X..=177$, zodat

$SST=36+16+196+64+4+144+256+36+16=768$

De eerste component,

$SSR=\sum _{i,k}(X_{ik}-X_{i}.)^{2}$,

beschrijft de resterende variatie binnen de groepen als gevolg van de afwijkingen binnen elke groep ten opzichte van het groepsgemiddelde.

De tweede component,

$SSA=K\sum _{i}(X_{i}.-X..)^{2}$,

beschrijft de variatie tussen de groepen als gevolg van de afwijkingen van de groepsgemiddelden ten opzichte van het algemeen gemiddelde.

In de steekproef is:

$X_{1}.=181,\ X_{2}.=179$ en $X_{3}.=171$,

zodat

$SSR=600$ en $SSA=168$

Onder de nulhypothese van geen verschillen geldt voor de verdelingen:

$SSR/\sigma ^{2}$

is chi-kwadraatverdeeld met $I(K-1)$ vrijheidsgraden, en

$SSA/\sigma ^{2}$

is chi-kwadraatverdeeld met $I-1$ vrijheidsgraden.

Onder de gemiddelde kwadratensom verstaat men de kwadratensom gedeeld door de bijbehorende vrijheidsgraden:

$MSR=SSR/(I(K-1))$

en

$MSA=SSA/(I-1)$

In de steekproef: $MSA=168/2=84$ en $MSE=600/6=100$.

Als toetsingsgrootheid $F$ neemt men het quotiënt van deze gemiddelde kwadratensommen:

$F=MSA/MSR$

Als de nulhypothese waar is, heeft $F$ een F-verdeling met $I-1$ vrijheidsgraden in de teller en $I(K-1)$ in de noemer. Merk op dat de onbekende parameter $\sigma ^{2}$ bij het delen is weggevallen. Is de nulhypothese niet waar, dan kan men vrij eenvoudig inzien dat $F$ statistisch grotere waarden zal aannemen. De nulhypothese wordt dus verworpen voor grote waarden van $F$.

In het voorbeeld is dus: $F=84/100=0{,}84$. Aangezien $F<1$, is de overschrijdingskans $p>0{,}5$; dus is er geen reden om de nulhypothese te verwerpen.

Tabel

De resultaten van de berekeningen worden meestal weergegeven in een variantieanalysetabel:

factor	vrijheidsgraden	kwadr.som	gem.kwadr.som	$F$	p-waarde
groep	2	168	84	0,84	> 0,5
error	6	600	100
totaal	8	768

Dat de steekproef niet significant is, hadden we vrij direct kunnen zien, aangezien binnen de groepen afwijkingen van 10 ten opzichte van het groepsgemiddelde voorkomen en de verschillen tussen de groepsgemiddelden niet groter dan 10 zijn.

Als de variatie binnen de groepen als volgt verkleind wordt:

Friezen: 180,181,182

Hollanders: 178,179,180

Limburgers: 170,171,172

blijven de groepsgemiddelden gelijk, en dus is weer:

$SSA=3\cdot (16+4+36)=168$

Maar nu is:

$SST=9+16+25+1+4+9+49+36+25=174$

en

$SSE=6$

De verschillen tussen de groepen zijn nu veel groter dan binnen de groepen.

De variantieanalysetabel wordt nu:

factor	vrijheidsgraden	kwadr.som	gem.kwadr.som	$F$	p-waarde
groep	2	168	84	84	≈ 0
error	6	6	1
totaal	8	174

Er is dus alle reden om aan te nemen dat de groepsgemiddelden onderling verschillen.

Meerweg-variantieanalyse

Een soortgelijke analyse kan ook gedaan worden met meer factoren. Men spreekt dan van meerweg-variantieanalyse, of naar het aantal beschouwde factoren van bijvoorbeeld drieweg-, vierweg-variantieanalyse. Een complicatie daarbij is dat de factoren elkaar kunnen beïnvloeden, wat aangeduid wordt als interactie. Ook worden met toenemend aantal factoren de formules ingewikkelder en minder overzichtelijk. Een belangrijk praktisch nadeel van veel factoren is de noodzakelijk grote steekproefomvang voor een betrouwbare analyse.

Voorbeeld

Als voorbeeld een tweeweg-variantieanalyse.

In een onderzoek naar de opbrengst van tarwesoorten in relatie met de bodemgesteldheid, worden 4 soorten tarwe vergeleken elk groeiend op 3 grondsoorten. Er zijn dus twee factoren: soort op 4 niveaus en grond op 3 niveaus. De opbrengst $X$ van een tarwe-aar wordt gemodelleerd als:

$X_{ijk}=\mu +\alpha _{i}+\beta _{j}+\alpha \beta _{ij}+U_{ijk}$

Daarin is:

$X_{ijk}$ de opbrengst van aar nummer $k=1,\ldots ,K$ van soort $i=1,\ldots ,I$ op grond $j=1,\ldots ,J$

$\mu$ de verwachte opbrengst gemiddeld over alle soorten en gronden

$\alpha _{i}$ de bijdrage aan de opbrengst van soort $i$

$\beta _{j}$ de bijdrage aan de opbrengst van grond $j$

$U_{ijk}$ de eigen specifieke bijdrage van aar $k$ van soort $i$ op grond $j$; onderling onafhankelijk en $N(0,\sigma ^{2})-$verdeeld verondersteld.

De term

$\alpha \beta _{ij}$

de zogenaamde interactieterm behoeft nog wat nadere verklaring. Niet altijd neemt men deze op in het model. Als er reden is om aan te nemen dat een bepaalde soort tarwe het beter doet op de ene grondsoort en een andere soort weer beter groeit op een andere grondsoort, is er sprake van interactie tussen de tarwesoort en de grondsoort. Om het effect daarvan in het model te beschrijven, neemt men de bovengenoemde interactieterm op. Het is gebruikelijk deze weer te geven met de symbolen van de interagerende factoren, hier dus $\alpha$ en $\beta$ (dus niet te lezen als het product van beide!)

De analyse van de variantie houdt nu in dat de totale kwadratensom als volgt uiteengelegd wordt (ook hier wordt weer door een · aangegeven dat over de betrokken index gemiddeld is):

$SST=SSA+SSB+SSAB+SSR$,

waarin:

$SST=\sum _{ijk}(X_{ijk}-X...)^{2}$ de totale kwadratensom is

$SSR=\sum _{ijk}(X_{ijk}-X_{ij}.)^{2}$ de kwadratensom van de residuen

$SSAB=\sum _{ijk}(X_{ij}.-X_{i}..-X._{j}.+X...)^{2}$ de kwadratensom van de interactie

$SSA=\sum _{ijk}(X_{i}..-X...)^{2}$ de kwadratensom van de factor A, "soort"

$SSB=\sum _{ijk}(X._{j}.-X...)^{2}$ de kwadratensom van de factor B, "grond".

Het kan worden bewezen dat de vier verschillende kwadraatsommen waaruit de totale kwadratensom bestaat, onderling onafhankelijk zijn. Elk van de kwadratensommen is, gedeeld door de variantie $\sigma ^{2}$ van de storingsterm, onder de veronderstelling dat het betreffende effect niet bestaat, $\chi$-kwadraatverdeeld, en wel:

$SSR/\sigma ^{2}\sim \chi ^{2}(IJ(K-1))$

$SSAB/\sigma ^{2}\sim \chi ^{2}((I-1)(J-1))$

$SSA/\sigma ^{2}\sim \chi ^{2}(I-1)$

$SSB/\sigma ^{2}\sim \chi ^{2}(J-1)$

$SST/\sigma ^{2}\sim \chi ^{2}(IJK-1)$