Jeśli oglądamy wyłącznie projekty, które się udały, łatwo uznać ich wspólne cechy za receptę sukcesu. Brakuje jednak porównania z projektami nieudanymi. Cecha mogła występować równie często po obu stronach, tylko druga strona zniknęła z pola widzenia.
Ankieta z połową odpowiedzi
Do stu uczestników kursu wysłano ankietę. Odpowiedziało 50 osób, z czego 40 zadeklarowało zadowolenie. Wśród respondentów udział zadowolonych wynosi 40/50 = 80%. Nie wiemy jednak, jaki jest udział wśród wszystkich stu.
Jeśli żadna z 50 nieodpowiadających osób nie była zadowolona, wynik całej grupy wyniósłby 40%. Jeśli wszystkie były zadowolone, wyniósłby 90%. Z dostępnych informacji wiemy więc o 40 zadowolonych i 10 niezadowolonych, a status 50 pozostaje nieznany. Sam odsetek 80% nie uzupełnia brakujących danych.
To hipotetyczny przykład. Nie zakładamy, że brak odpowiedzi oznacza niezadowolenie — właśnie brak takiej wiedzy jest istotą problemu.
Zmiana mianownika
W nagłówku „80% uczestników poleca kurs” ukrywa się przejście od respondentów do wszystkich uczestników. Poprawnie byłoby podać „80% spośród 50 osób, które odpowiedziały”, z informacją, ilu zaproszono. Procent zawsze wymaga wskazania całości.
Dobór próby nie jest błędem dzielenia 40 przez 50. Rachunek może być bezbłędny, a wniosek mimo tego zbyt szeroki. To inny rodzaj problemu niż pomyłka w obliczaniu średniej.
Historie skutecznych uczniów
Załóżmy, że pięciu laureatów konkursu mówi, iż uczyło się wieczorem. Nie wiemy, ilu uczniów uczących się wieczorem nie zostało laureatami ani jak pracowali inni. Ta informacja nie dowodzi, że wieczór był przyczyną sukcesu lub że powinien być najlepszy dla każdego.
Może być inspiracją do wypróbowania własnej organizacji, lecz nie zastępuje porównania. Osobno trzeba sprawdzać różnicę między współwystępowaniem a przyczyną.
- Kogo widać w zbiorze, a kto mógł z niego wypaść?
- Czy znamy liczbę zaproszonych, nie tylko odpowiadających?
- Czy zachowano ten sam mianownik w tabeli i w nagłówku?
- Czy brakujące przypadki mogą zmienić wniosek?
Co można powiedzieć mimo braków
Nie trzeba odrzucać całej ankiety. Można opisać dokładnie odpowiedzi i jawnie zaznaczyć ograniczenie. Można też porównać różne możliwe scenariusze dla brakujących osób, tak jak obliczyliśmy zakres 40–90%.
Przy własnej nauce podobna ostrożność oznacza zapisywanie także zadań niedokończonych i rozwiązań z pomocą. Dziennik postępów z samymi udanymi przykładami może dawać przyjemny, lecz niepełny obraz. Użyteczniejsze jest zachowanie informacji o warunkach, w których wykonano każdą próbę.