Notatki matematyczne

W tym dodatku opiszę niektóre pomysły z tego rozdziału w nieco bardziej matematycznej formie. Celem jest ułatwienie ci korzystania z notacji i ram matematycznych używanych przez badaczy badań, abyś mógł przejść do bardziej technicznych materiałów napisanych na te tematy. Zacznę od wprowadzenia próbkowania prawdopodobieństwa, a następnie przejdę do próbkowania prawdopodobieństwa z brakiem odpowiedzi, a na koniec do prób losowych o braku prawdopodobieństwa.

Próbkowanie prawdopodobieństwa

Jako działający przykład rozważmy cel oszacowania stopy bezrobocia w Stanach Zjednoczonych. Niech \(U = \{1, \ldots, k, \ldots, N\}\) będzie docelową populacją i niech \(y_k\) przez wartość zmiennej wynikowej dla osoby \(k\) . W tym przykładzie \(y_k\) jest, czy osoba \(k\) jest bezrobotna. Wreszcie, niech \(F = \{1, \ldots, k, \ldots, N\}\) będzie populacją klatek, która dla uproszczenia jest założona jako ta sama, co populacja docelowa.

Podstawowy projekt próbkowania to proste losowe pobieranie próbek bez wymiany. W takim przypadku każda osoba jest równie prawdopodobna, aby dołączyć ją do próbki \(s = \{1, \ldots, i, \ldots, n\}\) . Kiedy dane są zbierane za pomocą tego projektu próbkowania, naukowcy mogą oszacować wskaźnik bezrobocia populacji za pomocą średniej próbki:

\[ \hat{\bar{y}} = \frac{\sum_{i \in s} y_i}{n} \qquad(3.1)\]

gdzie \(\bar{y}\) jest stopą bezrobocia w populacji i \(\hat{\bar{y}}\) jest szacunkiem stopy bezrobocia ( \(\hat{ }\) jest powszechnie używane do wskazania estymatora).

W rzeczywistości badacze rzadko stosują proste losowe pobieranie próbek bez wymiany. Z wielu powodów (z których jedno opiszę za chwilę), badacze często tworzą próbki o nierównych prawdopodobieństwach włączenia. Na przykład naukowcy mogą wybrać osoby z Florydy o większym prawdopodobieństwie włączenia niż ludzie w Kalifornii. W tym przypadku średnia próby (np. 3.1) może nie być dobrym estymatorem. Zamiast tego, kiedy istnieją nierówne prawdopodobieństwa włączenia, używają badacze

\[ \hat{\bar{y}} = \frac{1}{N} \sum_{i \in s} \frac{y_i}{\pi_i} \qquad(3.2)\]

gdzie \(\hat{\bar{y}}\) jest szacunkiem stopy bezrobocia, a \(\pi_i\) jest prawdopodobieństwem włączenia osoby \(i\) . Zgodnie ze standardową praktyką zadzwonię do estymatora w równaniu. 3.2 estymator Horvitza-Thompsona. Estymator Horvitza-Thompsona jest niezwykle użyteczny, ponieważ prowadzi do obiektywnych szacunków dla dowolnego projektu próbkowania prawdopodobieństwa (Horvitz and Thompson 1952) . Ponieważ estymator Horvitza-Thompsona pojawia się tak często, warto zauważyć, że można go ponownie napisać jako

\[ \hat{\bar{y}} = \frac{1}{N} \sum_{i \in s} w_i y_i \qquad(3.3)\]

gdzie \(w_i = 1 / \pi_i\) . Jako równ. 3.3 ujawnia, że ​​estymator Horvitza-Thompsona jest ważoną średnią próbki, gdzie wagi są odwrotnie proporcjonalne do prawdopodobieństwa selekcji. Innymi słowy, im mniej prawdopodobne jest, że dana osoba znajdzie się w próbie, tym większa powinna być jej waga w oszacowaniu.

Jak opisano wcześniej, badacze często próbują osób o nierównych prawdopodobieństwach włączenia. Jednym z przykładów projektu, który może prowadzić do nierównego prawdopodobieństwa włączenia, jest warstwowe pobieranie próbek , co jest ważne, aby zrozumieć, ponieważ jest on ściśle związany z procedurą szacowania zwaną po stratyfikacji . W przypadku próbkowania warstwowego badacz dzieli populację docelową na grupy wzajemnie wykluczające się i wyczerpujące \(H\) . Grupy te nazywane są warstwami i są oznaczone jako \(U_1, \ldots, U_h, \ldots, U_H\) . W tym przykładzie warstwy są stanami. Rozmiary grup są oznaczone jako \(N_1, \ldots, N_h, \ldots, N_H\) . Naukowiec może chcieć użyć warstwowego próbkowania, aby upewnić się, że ma wystarczającą liczbę osób w każdym stanie, aby oszacować stan bezrobocia na poziomie krajowym.

Gdy populacja zostanie podzielona na warstwy , załóżmy, że badacz wybiera prostą losową próbkę bez zamiany rozmiaru \(n_h\) , niezależnie od każdej warstwy. Ponadto zakładaj, że każdy wybrany w próbie staje się respondentem (poradzę sobie z brakiem odpowiedzi w następnej sekcji). W tym przypadku prawdopodobieństwo włączenia jest

\[ \pi_i = \frac{n_h}{N_h} \mbox{ for all } i \in h \qquad(3.4)\]

Ponieważ prawdopodobieństwa te mogą się różnić w zależności od osoby, przy dokonywaniu oszacowania na podstawie tego projektu próbkowania, badacze muszą ważyć każdego respondenta przez odwrotność prawdopodobieństwa włączenia przy użyciu estymatora Horvitza-Thompsona (równanie 3.2).

Mimo że estymator Horvitza-Thompsona jest bezstronny, naukowcy mogą uzyskać dokładniejsze oszacowania (tj. Niższe warianty), łącząc próbkę z informacjami pomocniczymi . Niektórzy uważają za zaskakujące, że jest to prawdą, nawet jeśli istnieje idealnie wykonane próbkowanie prawdopodobieństwa. Techniki wykorzystujące informacje pomocnicze są szczególnie ważne, ponieważ, jak pokażę później, informacja pomocnicza ma kluczowe znaczenie dla dokonywania oszacowań na podstawie próbek probabilistycznych z brakiem odpowiedzi oraz z próbek innych niż prawdopodobieństwo.

Jedną z powszechnych technik wykorzystywania informacji pomocniczych jest po stratyfikacji . Wyobraźmy sobie na przykład, że badacz zna liczbę mężczyzn i kobiet w każdym z 50 stanów; możemy oznaczyć te rozmiary grup jako \(N_1, N_2, \ldots, N_{100}\) . Aby połączyć tę pomocniczą informację z próbką, badacz może podzielić próbkę na grupy \(H\) (w tym przypadku 100), dokonać oszacowania dla każdej grupy, a następnie utworzyć średnią ważoną tych grup:

\[ \hat{\bar{y}}_{post} = \sum_{h \in H} \frac{N_h}{N} \hat{\bar{y}}_h \qquad(3.5)\]

Z grubsza, estymator w równ. 3.5 będzie prawdopodobnie dokładniejsze, ponieważ używa znanej informacji o populacji - \(N_h\) - w celu poprawienia oszacowań, jeśli zostanie wybrana niezbalansowana próbka. Jednym ze sposobów myślenia jest to, że po stratyfikacji jest jak przybliżenie stratyfikacji po zebraniu danych.

Podsumowując, w tej sekcji opisano kilka schematów próbkowania: proste losowe pobieranie próbek bez zastępowania, pobieranie próbek z nierównym prawdopodobieństwem i warstwowe pobieranie próbek. Opisano również dwie główne koncepcje dotyczące estymacji: estymator Horvitza-Thompsona i post stratyfikację. Bardziej formalna definicja wzorów prób probabilistycznych znajduje się w rozdziale 2 Särndal, Swensson, and Wretman (2003) . Aby uzyskać bardziej formalne i pełne traktowanie stratyfikowanego próbkowania, patrz sekcja 3.7 Särndal, Swensson, and Wretman (2003) . Aby uzyskać opis techniczny właściwości estymatora Horvitza-Thompsona, patrz Horvitz and Thompson (1952) , Overton and Stehman (1995) lub sekcja 2.8 @ sarndal_model_2003. Aby uzyskać bardziej formalne traktowanie po stratyfikacji, zobacz Holt and Smith (1979) , Smith (1991) , Little (1993) lub sekcja 7.6 Särndal, Swensson, and Wretman (2003) .

Próbkowanie prawdopodobieństwa z brakiem odpowiedzi

Prawie wszystkie prawdziwe ankiety nie mają odpowiedzi; to znaczy, nie wszyscy w populacji próbki odpowiadają na każde pytanie. Istnieją dwa główne rodzaje braku odpowiedzi: brak reakcji i brak reakcji jednostki . W przypadku braku odpowiedzi niektórzy respondenci nie odpowiadają na niektóre pozycje (np. Czasami respondenci nie chcą odpowiadać na pytania, które uważają za wrażliwe). W przypadku braku odpowiedzi jednostki niektóre osoby wybrane do badania populacji w ogóle nie odpowiadają na ankietę. Dwie najczęstsze przyczyny braku reakcji jednostki polegają na tym, że nie można skontaktować się z próbkowaną osobą i kontaktować się z próbną osobą, ale odmawia ona udziału. W tej sekcji skupię się na braku reakcji jednostki; czytelnicy zainteresowani pozycją nonresponse powinni zobaczyć Little and Rubin (2002) .

Badacze często myślą o ankietach z jednostkową brakiem odpowiedzi jako dwuetapowym procesem próbkowania. W pierwszym etapie badacz wybiera próbkę \(s\) tak, że każda osoba ma prawdopodobieństwo włączenia \(\pi_i\) (gdzie \(0 < \pi_i \leq 1\) ). Następnie, w drugim etapie, ludzie wybrani do próby odpowiadają prawdopodobieństwem \(\phi_i\) (gdzie \(0 < \phi_i \leq 1\) ). Ten dwuetapowy proces powoduje, że ostateczny zestaw respondentów \(r\) . Istotna różnica między tymi dwoma etapami polega na tym, że badacze kontrolują proces wyboru próbki, ale nie kontrolują, który z badanych osób stał się respondentami. Łącząc te dwa procesy, prawdopodobieństwo, że ktoś będzie respondentem jest

\[ pr(i \in r) = \pi_i \phi_i \qquad(3.6)\]

Dla uproszczenia rozważę przypadek, w którym oryginalny projekt próbki jest prostym losowym próbkowaniem bez wymiany. Jeśli badacz wybierze próbkę o rozmiarze \(n_s\) która daje \(n_r\) respondentów, a jeśli badacz ignoruje brak odpowiedzi i używa średniej z respondentów, wówczas obciążenie szacunkowe będzie:

\[ \mbox{bias of sample mean} = \frac{cor(\phi, y) S(y) S(\phi)}{\bar{\phi}} \qquad(3.7)\]

gdzie \(cor(\phi, y)\) jest korelacją populacji pomiędzy skłonnością do odpowiedzi a wynikiem (np. stanem bezrobocia), \(S(y)\) jest odchyleniem standardowym populacji od wyniku (np. bezrobocie status), \(S(\phi)\) jest odchyleniem standardowym populacji od skłonności do odpowiedzi, a \(\bar{\phi}\) jest średnią populacyjną skłonnością do odpowiedzi (Bethlehem, Cobben, and Schouten 2011, sec. 2.2.4) .

Eq. 3.7 pokazuje, że brak reakcji nie wprowadzi uprzedzeń, jeśli zostanie spełniony którykolwiek z poniższych warunków:

• Nie ma zróżnicowania statusu bezrobotnego \((S(y) = 0)\) .
• Nie ma różnic w skłonnościach odpowiedzi \((S(\phi) = 0)\) .
• Nie ma korelacji między skłonnością do odpowiedzi a stopniem bezrobocia \((cor(\phi, y) = 0)\) .

Niestety, żaden z tych warunków nie wydaje się prawdopodobny. Wydaje się nieprawdopodobne, że nie nastąpi zmiana w statusie zatrudnienia lub że nie będzie różnic w skłonnościach do odpowiedzi. Tak więc kluczowy termin w równ. 3.7 to korelacja: \(cor(\phi, y)\) . Na przykład, jeśli ludzie, którzy są bezrobotni, są bardziej skłonni odpowiedzieć, szacowany wskaźnik zatrudnienia zostanie przesunięty w górę.

Sztuczka polegająca na dokonywaniu szacunków, gdy nie ma odpowiedzi, polega na użyciu informacji pomocniczych. Na przykład, jednym ze sposobów, w jaki można korzystać z informacji pomocniczych, jest następująca po stratyfikacji (odwołanie o wartości 3,5 od góry). Okazuje się, że stronniczość estymatora po-warstwowego wynosi:

\[ bias(\hat{\bar{y}}_{post}) = \frac{1}{N} \sum_{h=1}^H \frac{N_h cor(\phi, y)^{(h)} S(y)^{(h)} S(\phi)^{(h)}}{\bar{\phi}^{(h)}} \qquad(3.8)\]

gdzie \(cor(\phi, y)^{(h)}\) , \(S(y)^{(h)}\) , \(S(\phi)^{(h)}\) , i \(\bar{\phi}^{(h)}\) są zdefiniowane jak powyżej, ale ograniczone do osób z grupy \(h\) (Bethlehem, Cobben, and Schouten 2011, sec. 8.2.1) . Zatem ogólne odchylenie będzie niewielkie, jeśli odchylenie w każdej grupie po stratyfikacji jest małe. Są dwa sposoby, które lubię myśleć o tym, aby małe obciążenie w każdej grupie po stratyfikacji. Najpierw chcesz utworzyć jednorodne grupy, w których występuje niewielka zmienność skłonności do odpowiedzi ( \(S(\phi)^{(h)} \approx 0\) ) i wynik ( \(S(y)^{(h)} \approx 0\) ). Po drugie, chcesz tworzyć grupy, w których ludzie, których widzisz, są podobni do ludzi, których nie widzisz ( \(cor(\phi, y)^{(h)} \approx 0\) ). Porównanie eq. 3.7 i równ. 3.8 pomaga wyjaśnić, kiedy po stratyfikacji można zmniejszyć tendencyjność spowodowaną brakiem odpowiedzi.

Podsumowując, w tej sekcji przedstawiono model próbkowania prawdopodobieństwa z brakiem odpowiedzi i wykazano, że brak reakcji może wprowadzić zarówno bez, jak i po korektach po stratyfikacji. Bethlehem (1988) oferuje wyprowadzenie nastawienia wywołanego przez brak reakcji na bardziej ogólne projekty próbkowania. Więcej informacji o stosowaniu po stratyfikacji, aby dostosować się do braku reakcji, patrz Smith (1991) i Gelman and Carlin (2002) . Post-stratyfikacja jest częścią bardziej ogólnej rodziny technik nazywanych estymatorami kalibracji, patrz Zhang (2000) odniesieniu do leczenia długości Särndal and Lundström (2005) artykułu oraz Särndal and Lundström (2005) w sprawie leczenia długości książki. Więcej informacji o innych metodach ważenia w celu dostosowania się do braku odpowiedzi można znaleźć w Kalton and Flores-Cervantes (2003) , Brick (2013) oraz Särndal and Lundström (2005) .

Pobieranie próbek bez prawdopodobieństwa

Próbkowanie nieobjęte prawdopodobieństwem obejmuje ogromną różnorodność wzorów (Baker et al. 2013) . Koncentrując się konkretnie na próbce użytkowników Xboksa przez Wanga i współpracowników (W. Wang et al. 2015) , można pomyśleć o tym rodzaju próbki jako o tym, gdzie kluczową częścią projektu próbkowania nie jest \(\pi_i\) ( badane przez naukowców prawdopodobieństwo włączenia), ale \(\phi_i\) (skłonności respondenta do odpowiedzi). Oczywiście nie jest to idealne, ponieważ \(\phi_i\) są nieznane. Ale, jak wykazali Wang i współpracownicy, ten rodzaj dobrowolnej próbki - nawet z ramki do pobierania próbek z ogromnym błędem zasięgu - nie musi być katastrofalny, jeśli badacz ma dobre informacje pomocnicze i dobry model statystyczny, który mógłby wyjaśnić te problemy.

Bethlehem (2010) rozszerza wiele z powyższych wywodów na temat stratyfikacji po uwzględnieniu zarówno błędów braku odpowiedzi, jak i zasięgu. Oprócz późniejszej stratyfikacji, inne techniki pracy z próbkami (Ansolabehere and Rivers 2013; ??? ) próbki prawdopodobieństwa z błędami zasięgu i braku odpowiedzi - obejmują (Ansolabehere and Rivers 2013; ??? ) próbek (Ansolabehere and Rivers 2013; ??? ) , wagę punktową skłonności (Lee 2006; Schonlau et al. 2009) i kalibracji (Lee and Valliant 2009) . Jednym ze wspólnych tematów tych technik jest wykorzystanie informacji pomocniczych.