Dwie wielkości mogą rosnąć razem, choć jedna nie powoduje drugiej. Zaobserwowana zależność może wynikać ze wspólnego czynnika, doboru próby lub przypadku. To nie powód, żeby ignorować dane, lecz żeby ostrożnie sformułować pytanie, na które rzeczywiście odpowiadają.
Trzy hipotetyczne pomiary
Załóżmy, że w trzech dniach temperatura wyniosła 15, 20 i 25 stopni, a sprzedano odpowiednio 50, 100 i 150 porcji lodów. Sprzedaż rosła wraz z temperaturą. Nie oznacza to, że kupowanie lodów podnosiło temperaturę powietrza.
Model pokazuje wspólny przebieg, lecz nie rozstrzyga kierunku wpływu. W rzeczywistym badaniu potrzebne byłyby dodatkowe informacje, np. o liczbie klientów, dniach tygodnia i promocjach. Trzy wymyślone punkty służą wyjaśnieniu logiki, nie stanowią wyniku badania.
Trzeci czynnik
W hipotetycznej szkole uczniowie korzystający z dodatkowych zajęć uzyskali wyższe wyniki. Czy zajęcia na pewno spowodowały całą różnicę? Do grupy mogli zgłaszać się uczniowie bardziej zmotywowani albo już wcześniej mocniejsi. Możliwa jest też sytuacja odwrotna: dodatkową pomoc wybrali uczniowie z największymi trudnościami.
Bez wiedzy o sposobie tworzenia grup samo porównanie końcowych średnich wyników nie oddziela tych możliwości. Można uczciwie powiedzieć, że wyniki grup różniły się; mocniejsza teza o przyczynie wymaga odpowiedniego projektu badania.
Wspólny trend w czasie
Jeśli dwie liczby rosną z roku na rok, wykres może sugerować silny związek. Czas albo ogólny wzrost liczby mieszkańców może wpływać na obie serie. Przykładowo liczba bibliotek i liczba sklepów mogą wzrosnąć w rozwijającym się mieście, bez prostego mechanizmu „więcej bibliotek powoduje więcej sklepów”.
Sprawdź również skalę osi. Sposób rysowania wykresu może wzmacniać wrażenie, choć dane liczbowe nie zmieniły się.
- Kto i jak został objęty pomiarem?
- Co mogło wpływać na obie wielkości?
- Czy przyczyna, którą sugerujemy, wystąpiła przed skutkiem?
- Czy wniosek dotyczy jednostek, czy tylko średnich całych grup?
Dane grupowe nie opisują każdej osoby
Średnia 80 punktów w jednej grupie i 70 w drugiej nie oznacza, że każdy uczestnik pierwszej uzyskał więcej od każdego uczestnika drugiej. Rozkłady mogą się nakładać. Warto znać liczebności i rozproszenie wyników, zamiast z różnicy dwóch średnich budować historię o wszystkich osobach.
Podobnie zależność między średnimi miast nie musi być taka sama między mieszkańcami wewnątrz miasta. Zmiana poziomu porównania zmienia pytanie.
Lepszy zapis wniosku
Zamiast „metoda gwarantuje lepszy wynik” napisz: „w opisanej grupie korzystający z metody uzyskali wyższą średnią; bez dodatkowych danych nie rozstrzygamy przyczyny”. To precyzja, nie unikanie odpowiedzi. Dobór osób, które pozostają widoczne w danych, może dodatkowo wpływać na obraz. Zanim przyjmiesz efektowny nagłówek, sprawdź zakres informacji, z których powstał.