Determinatiecoëfficiënt

In de statistiek is een determinatiecoëfficiënt, veelal aangeduid met $R^{2}$, een maat voor het deel van de variabiliteit dat wordt verklaard door het statistisch model. Er bestaan verschillende definities voor een determinatiecoëfficiënt. In het geval van lineaire regressie is er een eenduidige definitie. Bij enkelvoudige lineaire regressie is de determinatiecoëfficiënt gelijk aan het kwadraat van de multipele correlatiecoëfficiënt.

Lineaire regressie

Bij enkelvoudige lineaire regressie gaat men uit van het model dat de waarnemingen $(x_{i},y_{i})$ afkomstig zijn van stochastische variabelen die voldoen aan:

$Y_{i}=\alpha +\beta x_{i}+U_{i}$

De schattingen van de parameters $\alpha$ en $\beta$ zijn $a$ en $b$, waarmee als benadering voor $y_{i}$ berekend wordt:

${\hat {y}}_{i}=a+bx_{i}$

Als gevolg van de gebruikte kleinste-kwadratenmethode geldt:

$\sum {\hat {y}}_{i}=\sum y_{i}$

en

$\sum (y_{i}-{\hat {y}}_{i}){\hat {y}}_{i}=0$

Het totaal $SST$ (Sum of Squares Total) van de kwadratische afwijkingen van het gemiddelde:

$SST=\sum (y_{i}-{\overline {y}})^{2}$

kan voor een deel $SSE$ (Sum of Squares Explained)

$SSE=\sum ({\hat {y}}_{i}-{\overline {y}})^{2}$

verklaard worden als gevolg van de regressie. De rest, $SSR$ (Sum of Squares Residual), is het gevolg van storing:

$SST=\sum (y_{i}-{\overline {y}})^{2}=\sum (y_{i}-{\hat {y}}_{i}+{\hat {y}}_{i}-{\overline {y}})^{2}=$

$=\sum ({\hat {y}}_{i}-{\overline {y}})^{2}+2\sum ({\hat {y}}_{i}-{\overline {y}})(y_{i}-{\hat {y}}_{i})+\sum (y_{i}-{\hat {y}}_{i})^{2}=$

Omdat de middelste som gelijk is aan 0:

$=\sum ({\hat {y}}_{i}-{\overline {y}})^{2}+\sum (y_{i}-{\hat {y}}_{i})^{2}=SSE+SSR$

De determinatiecoëfficiënt is gedefinieerd als:

$R^{2}={\frac {SSE}{SST}}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}=1-{\frac {SSR}{SST}}=1-{\frac {\sum (y_{i}-{\hat {y}}_{i})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}$

De correlatiecoëfficiënt tussen ${\hat {y}}$ en $y$ is:

$r_{{\hat {y}},y}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})(y_{i}-{\overline {y}})}{\sqrt {SSE\cdot SST}}}$

Nu is

$\sum (y_{i}-{\hat {y}}_{i}){\hat {y}}_{i}=0$,

dus

$\sum y_{i}{\hat {y}}_{i}=\sum {\hat {y}}_{i}^{2}$,

zodat

$\sum ({\hat {y}}_{i}-{\overline {y}})(y_{i}-{\overline {y}})=\sum (y_{i}-{\overline {y}})^{2}=SSE$

Daaruit volgt

$r_{{\hat {y}},y}={\frac {SSE}{\sqrt {SSE\cdot SST}}}=R$