Problem pominiętych zmiennych

Problem pominiętych zmiennych (ang. omitted-variable bias, OVB) – w estymacji statystycznej we wnioskowaniu przyczynowym, błąd oszacowania (np. pozorna korelacja) wynikający z nieuwzględnienia części czynników przyczynowych wśród zmiennych objaśniających w modelu zjawiska. Rezultatem błędu jest mylne przypisanie wpływu brakujących zmiennych do elementów uwzględnionych, i vice versa.

W języku technicznym problem pominiętych zmiennych to błąd estymacji parametrów np. w analizie regresji, pojawiający się, gdy założona została niewłaściwa specyfikacja modelu, pomijająca zmienne objaśniające, które są przyczynami zarówno zmiennej objaśnianej, jak i co najmniej jednej uwzględnionej zmiennej objaśniającej.

Przykładowo, jeśli interesuje nas efekt spożycia wina na zdrowie, a spożycie to jest w rzeczywistości skorelowane z ogólnie zdrowszą dietą, czego nie uwzględnimy w analizie, uzyskamy przeszacowanie związku (lub całkowicie pozorną korelację) konsumpcji wina ze zdrowiem[1].

Zagadnienie wzajemnego powiązania zmiennych obecnych i nieobecnych w modelu nazywa się ogólnie endogenicznością. Model statystyczny wolny od pominięć zmiennych zakłócających nazywa się egzogenicznym; taki stan jest z reguły założeniem poprawnego działania metod statystycznych, na przykład regresji liniowej.

Fakt, że pominięcie zmiennych objaśniających prowadzi do błędu, nie oznacza, że badacze powinni dodawać do podstawowych wyrazów modelu statystycznego każdy dostępny wskaźnik. W szczególności, uwzględnienie wśród zmiennych objaśniających następstwa objaśnianego zjawiska również wprowadza do oszacowań błąd. Jest to ważnym problemem z jakim boryka się naukowe wnioskowanie przyczynowe.

Role zmiennych w specyfikacji modeluEdytuj

 
Przykład grafu systemu przyczynowego, w którym badanemu związkowi przyczyny   ze skutkiem   towarzyszy mediator   zmienna zakłócająca   i kolider   Typowy problem pominiętej zmiennej dotyczy ominięcia w analizie regresji czynników typu   Statystyczne kontrolowanie zmiennych typu   i   zwiększa błąd oszacowania.

Teoretyczny model odzwierciedlający rzeczywiste relacje przyczynowe wszystkich czynników wpływających na badane zjawisko, przełożony na model statystyczny, pozwala trafnie oszacowywać wielkość efektu poszczególnych zmiennych. W takiej sytuacji problemem pozostaje jedynie odwrotnie proporcjonalny do wielkości próby błąd przypadkowy. Jest to idealizacja i stan docelowy; praca badawcza polega na poszukiwaniu i dążeniu do takiego modelu[2].

Zmienne dostępne w praktyce do pomiaru i analizy mogą mieć różnorodne wzajemne relacje przyczynowo-skutkowe. Każdy ich rodzaj wymaga innego, właściwego umieszczenia w modelach statystycznych. Wśród metateorii opisujących zależności przyczynowe podejście oparte o skierowane grafy typu DAG pozwala rozróżnić podstawowe przypadki[3][4]:

  • Relacje przyczynowo-skutkowe (przyczyna   i skutek  ): Zmienne objaśniające i objaśniane wybrane przez badaczy do modelu pełnią zwykle tę rolę.
  • Czynniki zapośredniczające część lub całość przyczynowości   takie jak mediatory: Mediator dodany do modelu regresji przejmie właściwą sobie część siły efektu. Nie zawsze jest to pożądane, zawsze zaś wymaga rozpoznania i specyficznej interpretacji: mediatorem nie nazywamy bowiem zmiennej, która jest prawdziwą pierwotną przyczyną zjawiska, choć jest z nią wysoce współliniowa; wynik regresji może jednak sugerować, że to z nim ma ono silniejszą bezpośrednią zależność[5]. Skrajnym przypadkiem są tu redundantne wskaźniki tej samej zmiennej – w ich przypadku oszacowane w zwykłej regresji parametry będą nonsensowne[6]. Na przykład badanie wpływu środka grzybobójczego na plony rolnicze, uwzględniające w modelu zarówno ilość użytego fungicydu, jak i zagrzybienie roślin, może przypisać całą siłę związku z wielkością plonów temu drugiemu czynnikowi (który jest de facto skutkiem pierwszego), sprawiając, że efektywność fungicydu okaże się pozornie nieistotna statystycznie i bliska zeru[5].
  • Zmienne zakłócające – zewnętrzne czynniki, które są wplecione w badaną ścieżkę przyczynową w co najmniej dwóch punktach. Jest to zmienna   która również bywa przyczyną   i jest częściowo skorelowana z uwzględnioną już zmienną   Problem pominiętych zmiennych dotyczy tego typu czynników. Przykładowo, badanie związku jakości snu uczniów z wynikami szkolnymi, nieuwzględniające ich statusu socjoekonomicznego (w domyśle: dodatkowych obowiązków i stresu), będzie przeszacowywać siłę tego związku[7]. Szczególnym przypadkiem takiej sytuacji jest paradoks Simpsona[8].
  • Kolidery (zmienne „kolidujące”) – czynniki, które są skutkowym następstwem co najmniej dwóch różnych elementów: Model statystyczny uwzględniający wśród zmiennych objaśniających ich własne skutki będzie uzyskiwać błędne estymacje. Są to czynniki, które należy pomijać. Szczególnym przypadkiem zmiennej kolidującej jest uwzględniane implicite w modelu nielosowe kryterium doboru do próby, jak w przypadku błędu selekcji lub paradoksu Berksona. Dawes zilustrował to badaniem związku ocen testów szkolnych z osiągnięciami w nauce uniwersyteckiej wśród swoich studentów. Zademonstrował obecność paradoksalnej, silnie negatywnej korelacji pomiędzy tymi zmiennymi. Jest to konsekwencją błędu selekcji – wykonanego implicite ograniczenia próby do osób, które cechując się wysokimi wynikami testów dostały się na studia[9].

Relacje te są względne – ta sama zmienna może pełnić różne role w stosunku do różnych sąsiadów, zależnie od tego, jaką analizujemy „ścieżkę przyczynową” w systemie. Nota bene, metateoria przyczynowości używająca grafów, reprezentowana m.in. przez Pearla, nie jest jedyną ani uniwersalnie stosowaną perspektywą rozpatrywania tego zagadnienia – alternatywą jest np. podejście Neymana-Rubina[10]. Kładzie ona większy nacisk na poprawność prognoz płynących z modelu, niż na precyzyjne określenie jego wewnętrznych parametrów[11][12].

Pominięcie zmiennych w regresji liniowejEdytuj

Załóżmy, że prawdziwy związek przyczynowy odzwierciedla model regresji

 

zawierający parametry       zmienną objaśnianą   zmienne objaśniające   i   oraz wyraz błędu   Badacz zainteresowany siłą efektu   na   chce uzyskać prawidłowe oszacowanie parametru   Problem pominięcia zmiennych pojawia się, gdy model przyjęty przez badacza nie uwzględnia zmiennej   a jest ona częściowo skorelowana z  

 

z parametrami     i wyrazem błędu   Po podstawieniu do pierwszego równania uzyskujemy:

 

Jeśli regresja jest wykonana jedynie na zmiennej   parametr   zostanie błędnie oszacowany jako   stanowiąc nie tylko estymację własnej siły efektu   ale jego sumy z efektem zapośredniczonym przez korelację   i   Innymi słowy, przez pominięcie zmiennej   w regresji, oszacowujemy pochodną zupełną   względem   a nie odpowiednią pochodną cząstkową.

Środki zaradczeEdytuj

Badacze złożonych zjawisk obawiający się problemu pominiętych zmiennych mogą porównać wyniki kilku alternatywnych modelów, uwzględniających różne zestawy zmiennych objaśniających, w celu weryfikacji odporności oszacowań na takie zmiany założeń[4]. Pozwala to także na wykonanie podstawowego „testu OVB”, sprawdzającego zmienność oszacowań pomiędzy modelami[13].

Modele hierarchiczne (klasyczne lub bayesowskie) umieszczające zmienne objaśniające w ściślej wyrażonych relacjach (w przypadku bayesowskim, także z rozkładem apriorycznym precyzującym oczekiwane wartości parametrów) mogą ograniczyć problem endogeniczności zmiennych. Opierają się one jednak na sformułowaniu i implementacji konkretnych założeń co do przyczynowego modelu badanego zjawiska. Badacze preferujący metateorię Neymana-Rubina odradzają także bezpośrednie interpretowanie punktowych oszacowań parametrów regresji, rekomendując za to analizowanie ich prognoz (pełnych rozkładów prognostycznych a posteriori) uzyskanych w analizie – wyrażają bowiem zależność zmiennych łącznie z niepewnością tego oszacowania[11][12].

PrzypisyEdytuj

  1. A. Tjønneland i inni, Wine intake and diet in a random sample of 48763 Danish men and women, „The American Journal of Clinical Nutrition”, 69 (1), 1999, s. 49–54, DOI10.1093/ajcn/69.1.49, ISSN 0002-9165, PMID9925122 [dostęp 2018-04-29].
  2. Felix Elwert, Graphical Causal Models, [w:] Stephen Morgan (red.), Handbook of Causal Analysis for Social Research, 27 marca 2013, s. 245–273, DOI10.1007/978-94-007-6094-3_13, ISSN 1389-6903 [dostęp 2018-04-28].
  3. Felix Elwert, Christopher Winship, Endogenous Selection Bias: The Problem of Conditioning on a Collider Variable, „Annual Review of Sociology”, 40 (1), 2014, s. 31–53, DOI10.1146/annurev-soc-071913-043455 [dostęp 2018-04-29].
  4. a b Julia Rohrer, Thinking Clearly About Correlations and Causation: Graphical Causal Models for Observational Data, „Advances in Methods and Practices in Psychological Science”, 2018, s. 251524591774562, DOI10.1177/2515245917745629 [dostęp 2018-04-29].
  5. a b Richard McElreath, Statistical rethinking: a Bayesian course with examples in R and Stan, Boca Raton, s. 150, ISBN 978-1-4822-5344-3, OCLC 920672225.
  6. Richard McElreath, Statistical rethinking: a Bayesian course with examples in R and Stan, Boca Raton 2016, s. 142, ISBN 978-1-4822-5344-3, OCLC 920672225.
  7. James F. Pagel, Natalie Forister, Carol Kwiatkowki, Adolescent sleep disturbance and school performance: the confounding variable of socioeconomics, „Journal of clinical sleep medicine: JCSM: official publication of the American Academy of Sleep Medicine”, 3 (1), 2007, s. 19–23, ISSN 1550-9389, PMID17557448 [dostęp 2018-04-29].
  8. Steven A. Julious, Mark A. Mullee, Confounding and Simpson’s paradox, „British Medical Journal”, 309 (6967), 1994, s. 1480–1481, DOI10.1136/bmj.309.6967.1480, ISSN 0959-8138, PMID7804052 [dostęp 2018-04-29] (ang.).c?
  9. Robyn M. Dawes, Graduate Admission Variables and Future Success, „Science”, 187 (4178), 1975, s. 721–723, DOI10.1126/science.187.4178.721, ISSN 0036-8075, PMID17795237 [dostęp 2018-04-29] (ang.).c?
  10. Jasjeet Sekhon, The Neyman-Rubin Model of Causal Inference and Estimation Via Matching Methods, Janet M. Box-Steffensmeier, Henry E. Brady, David Collier (red.), [w:] The Oxford Handbook of Political Methodology, 21 sierpnia 2008, DOI10.1093/oxfordhb/9780199286546.001.0001/oxfordhb-9780199286546-e-11 [dostęp 2018-04-30] (ang.).???
  11. a b 6: Model checking, 7: Evaluating, comparing and expanding models, [w:] Andrew Gelman, Bayesian Data Analysis, wyd. 2nd ed, Boca Raton, Fla.: Chapman & Hall/CRC, 2004, ISBN 1-58488-388-X, OCLC 51991499.
  12. a b Richard McElreath, Statistical rethinking: a Bayesian course with examples in R and Stan, Boca Raton, ISBN 978-1-4822-5344-3, OCLC 920672225.
  13. Jörn-Steffen Pischke, Joshua Angrist, Mostly harmless econometrics: an empiricist’s companion, Princeton: Princeton University Press, 2009, s. 44, ISBN 978-0-691-12034-8, OCLC 231586808.