3.4 Hver á að spyrja

Stafrænn aldur er að gera líkur á sýnatöku í reynd erfiðara og skapar ný tækifæri fyrir sýnatöku sem ekki er líklegt.

Í söfnum sýnatöku hafa verið tvær keppnisaðferðir: líkur á sýnatökuaðferðum og sýnatökuaðferðir sem eru ekki líkur. Þrátt fyrir að bæði aðferðirnar voru notaðar á fyrstu sýnatökudögum, hefur líkurnar á sýnatöku verið að ráða og margir félagsvísindamenn eru kenntir til að skoða sýnileika án líkindamála með mikilli tortryggni. Hins vegar, eins og ég mun lýsa hér að neðan, þýðir breytingar sem stafar af stafrænu aldri að það sé tími fyrir vísindamenn að endurskoða ekki líkur á sýnatöku. Sérstaklega hefur líkur á sýnatöku verið erfitt að gera í reynd og ekki er líklegt að sýnatöku hafi verið hraðar, ódýrari og betri. Hraðari og ódýrari könnunum lýkur ekki bara í sjálfu sér: þau gera ný tækifæri eins og tíðari könnunum og stærri sýnishornastærðum. Til dæmis, með því að nota ósannarlegar aðferðir, er hægt að hafa u.þ.b. 10 sinnum fleiri þátttakendur í samvinnuþinginu (CCES) en fyrri rannsóknir með því að nota líkurannsóknir. Þetta miklu stærri sýni gerir pólitískum vísindamönnum kleift að læra afbrigði í viðhorfum og hegðun í undirhópum og félagslegum samhengi. Ennfremur, allt þetta viðbótar mælikvarða kom án lækkunar á gæðum áætlana (Ansolabehere and Rivers 2013) .

Eins og er, er ríkjandi nálgun við sýnatöku í félagslegum rannsóknum líkurnar á sýnatöku . Við líkur á sýnatöku eru allir meðlimir markhópsins þekktir, ótvíræðar líkur á að þeir séu sýndir, og allir sem eru sýndar svara könnuninni. Þegar þessi skilyrði eru uppfyllt, veita glæsilegar stærðfræðilegar niðurstöður sannarlegar ábyrgðir um getu rannsóknaraðila til að nota sýnið til að gera ályktanir um markhópinn.

Í hinum raunverulega heimi eru skilyrðin sem liggja að baki þessum stærðfræðilegum niðurstöðum sjaldan uppfylltar. Til dæmis, það eru oft umfjöllunar villur og nonresponse. Vegna þessara vandamála þurfa vísindamenn oft að nota ýmsar tölfræðilegar breytingar til þess að gera ályktun úr sýninu til markhóps þeirra. Þannig er mikilvægt að greina á milli líkindagreininga í orði , sem hefur sterkar fræðilegar ábyrgðir og líkur á sýnatöku í reynd , sem býður ekki upp á slíkar ábyrgðir og fer eftir ýmsum tölfræðilegum breytingum.

Með tímanum hefur munurinn á líkur á sýnatöku í kenningum og líkur á sýnatöku í reynd aukist. Til dæmis hefur ekki verið hækkað jafnt og þétt, jafnvel í hágæða dýrmætum könnunum (mynd 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Nonresponse vextir eru miklu hærri í viðskiptalegum símakönnunum, stundum jafnvel eins hátt og 90% (Kohut et al. 2012) . Þessar aukningar í nonresponse ógna gæðum áætlana vegna þess að áætlanirnar eru í auknum mæli háð tölfræðilegum líkönum sem vísindamenn nota til að laga sig fyrir ósvar. Ennfremur hefur þessi lækkun á gæðum átt sér stað þrátt fyrir sífellt dýrari viðleitni könnunarfræðinga til að viðhalda háum svörunarhlutföllum. Sumir óttast að þessi tvíburaþróun minnkandi gæði og aukin kostnaður ógna grunnrannsóknarkönnun (National Research Council 2013) .

Mynd 3.5: Nonresponse hefur verið sífellt jafnt og þétt, jafnvel í hágæða dýrum könnunum (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Nonresponse vextir eru miklu hærri í könnunum í viðskiptalegum símum, stundum jafnvel eins hátt og 90% (Kohut et al. 2012) . Þessi langtímaþróun í ósvaru þýðir að gagnasöfnun er dýrari og áætlanir eru minna áreiðanlegar. Aðlaga frá BD Meyer, Mok, and Sullivan (2015) , mynd 1.

Á sama tíma og það hefur verið vaxandi erfiðleikar við líkur á sýnatökuaðferðum hefur einnig verið spennandi þróun á sýnatökuaðferðum . Það eru ýmsar gerðir af sýnatökuaðferðum sem eru ekki líkurnar á líkum, en það eina sem þeir hafa sameiginlegt er að þeir geta ekki auðveldlega passað í stærðfræðilegum ramma líkindasýni (Baker et al. 2013) . Með öðrum orðum, í öllum líkum sýnatökuaðferðum hefur ekki allir þekkingu og án líkur á þátttöku. Sýnatökuaðferðir sem eru ósannar líkur eru á hræðilegu orðspori meðal félagslegra vísindamanna og þau tengjast ákveðnum stórkostlegu mistökum vísindamanna, svo sem bókmenntasiglingasveitarinnar (umræðu áður) og "Dewey Defeats Truman", ranga spá um Bandaríkin forsetakosningarnar árið 1948 (mynd 3.6).

Mynd 3.6: Harry Truman forseti hélt fyrirsögn blaðsins sem hafði ranglega tilkynnt ósigur hans. Þessi fyrirsögn var að hluta til byggð á áætlunum frá óskynsamlegum sýnum (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Þó að "Dewey Defeats Truman" hafi átt sér stað árið 1948, er það ennþá meðal ástæðan fyrir því að sumir vísindamenn eru efins um áætlanir úr ósennilegum sýnum. Heimild: Harry S. Truman Library & Museum .

Eitt eyðublað sem er ekki líklegt er sérstaklega við stafrænan aldur er að nota spjaldtölvur á netinu . Vísindamenn sem nota spjaldtölvur byggja á nokkrum spjaldveitendum, venjulega fyrirtæki, ríkisstjórn eða háskóla, til að byggja upp stóran fjölbreyttan hóp fólks sem samþykkir að þjóna sem svarendur fyrir kannanir. Þessir þátttakendur í pallborð eru oft ráðnir með ýmsum sérstökum aðferðum eins og auglýsingum á netinu. Þá getur rannsóknarmaður greitt spjaldveitanda um aðgang að úrtaki svarenda með viðeigandi einkenni (td fulltrúa fulltrúa fullorðinna á landsvísu). Þessir spjaldtölvur eru ekki líkur á aðferðum vegna þess að ekki eru allir þekktir, ótvírænar líkur á að þeir séu skráðir. Þrátt fyrir að ekki sé líklegt að netþættir séu notaðar af félagslegum vísindamönnum (td CCES), þá er enn nokkur umræða um gæði áætlana sem koma frá þeim (Callegaro et al. 2014) .

Þrátt fyrir þessar umræður tel ég að það eru tveir ástæður fyrir því að tími er rétt fyrir félagslega vísindamenn að endurskoða ekki líkur á sýnatöku. Í fyrsta lagi á stafrænu aldri hefur verið margs konar þróun í söfnun og greiningu á ósannprófum sýnum. Þessar nýrri aðferðir eru ólíkar frá þeim aðferðum sem valda vandamálum áður en ég held að það sé skynsamlegt að hugsa um þau sem "líkur á sýnatöku 2.0." Önnur ástæðan fyrir því að vísindamenn ættu að endurskoða ekki líkur á sýnatöku er vegna þess að líkur eru á sýnatöku í æfingar verða sífellt erfiðari. Þegar það er hátt hlutfall af svörun - eins og það er í raunverulegum könnunum núna - eru raunveruleg líkur á að þátttakendur séu ekki þekktir, og líkur eru á því að líkurnar á sýnum og líkum á líkum eru ekki eins ólíkar og margir vísindamenn telja.

Eins og ég sagði áður eru sýndar líkur á ósennilegum sýnum með mikilli tortryggni margra félagslegra vísindamanna, að hluta til vegna hlutverk þeirra í sumum vandræðalegustu mistökunum á fyrstu dögum rannsóknarannsókna. Skýrt dæmi um hversu langt við höfum komið með ósannprófunarsýni er rannsóknir Wei Wang, David Rothschild, Sharad Goel og Andrew Gelman (2015) sem endurheimti rétt á niðurstöðu kosninganna í Bandaríkjunum árið 2012 með því að nota ósannindi sýnishorn af American Xbox notendur-ákveðið nonrandom sýnishorn Bandaríkjamanna. Rannsakendurnir ráðnuðu svarendum frá XBox spilakerfinu og eins og þú gætir búist við, skautu Xbox sýnin karl og skeið ung: 18 til 29 ára eru 19% af kjósendum en 65% af Xbox sýninu og menn gera upp 47% af kjósendum en 93% af Xbox sýninu (mynd 3.7). Vegna þessara sterkra lýðfræðilegra sjónarmiða voru hráu Xbox gögnin léleg vísbending um arðsemi. Það spáði sterka sigur Mitt Romney yfir Barack Obama. Aftur er þetta annað dæmi um hætturnar við hrár, óviðjafnanlegar líkur á líkum á líkum og endurspeglar bókasafnsgreinina .

Mynd 3.7: Demographics svarenda í W. Wang et al. (2015) . Vegna þess að svarendur voru ráðnir frá XBox voru þeir líklegri til að vera ungur og líklegri til að vera karlmaður miðað við kjósendur í kosningunum í 2012. Aðlagað frá W. Wang et al. (2015) , mynd 1.

Hinsvegar voru Wang og samstarfsmennirnir meðvituð um þessi vandamál og reyndu að laga sig fyrir óviljandi sýnatökuferli við gerð áætlana. Sérstaklega notuðu þeir eftir stratification , tækni sem er einnig mikið notað til að stilla líkur á sýni sem hafa umfjöllunarvillur og ekki svörun.

Meginhugmyndin um eftirlagningu er að nota viðbótarupplýsingar um markhópinn til að bæta matið sem kemur frá sýni. Þegar við notkun álagsgreininga til að gera mat úr ósennilegu sýninu, hakkaði Wang og kollega íbúa í mismunandi hópa, áætlaði stuðning Obama í hverjum hópi og tók síðan vegið meðaltal áætlana hópsins til að framleiða heildaráætlun. Til dæmis gætu þeir skipt íbúunum í tvo hópa (karlar og konur), áætlað stuðninginn fyrir Obama meðal karla og kvenna og áætlað þá heildarstuðning fyrir Obama með því að taka vegið meðaltal til að gera grein fyrir því að konur gera upp 53% kjósenda og karla 47%. Gróft hjálpar eftirlagningu að leiðrétta fyrir ójafnvægi sýnis með því að færa viðbótarupplýsingar um stærðir hópanna.

Lykillinn að eftirmyndun er að mynda réttu hópana. Ef þú getur skorið upp íbúa í einsleita hópa þannig að svörunarviðbrögðin séu þau sömu fyrir alla í hverjum hópi, þá mun eftir stratification framleiða óhlutdrægar áætlanir. Með öðrum orðum mun eftir kynferðislegt kynlíf búa til óhlutdrægar áætlanir ef allir menn hafa svörun og allir konur hafa sömu svörun. Þessi forsenda er kallað einsleit og svörun-tilhneigingu-innan hóps forsendunnar og ég lýsi því aðeins meira í stærðfræðiglugganum í lok þessa kafla.

Auðvitað virðist ólíklegt að svörunin verði sú sama fyrir alla menn og alla konur. Hins vegar er samkvæmni viðbrögð við einsleitri svörun og svörun innan hópa líklegri til þess að fjöldi hópa eykst. Grunnur verður auðveldara að höggva íbúa í einsleita hópa ef þú býrð til fleiri hópa. Það kann að virðast óhugsandi að allir konur hafi sömu svörun, en það virðist líklega líklegt að sömu svörun sé til staðar fyrir alla konur sem eru 18-29 ára, sem útskrifuðust úr háskóla og búa í Kaliforníu . Svona, þar sem fjöldi hópa sem notuð eru eftir stratification verða stærri, þá eru forsendur sem þarf til að styðja aðferðin sanngjarnari. Í ljósi þessarar staðreyndar vilja vísindamenn oft að búa til mikið fjölda hópa fyrir eftirlagningu. Hins vegar, eftir því sem fjöldi hópa eykst, rannsakendur vísindamenn í annað vandamál: gagnaleysi. Ef aðeins fáir einstaklingar eru í hverri hóp, þá verður áætlunin meiri óvissa og í stórum tilfellum þar sem hópur hefur ekki svarendur, þá brotnar eftir stratification alveg niður.

Það eru tvær leiðir af þessari innbyggðu spennu milli ásættanleika einsleitrar og svörunar-tilhneigingar innan hópanna og krafa um hæfilegan sýnishornastærð í hverjum hópi. Í fyrsta lagi geta vísindamenn safnað saman stærri, fjölbreyttari sýni sem hjálpar til við að tryggja eðlilegt sýnishorn í hverjum hópi. Í öðru lagi geta þeir notað flóknari tölfræðilegan líkan til að gera áætlanir innan hópa. Og í raun, stundum gera vísindamenn bæði, eins og Wang og samstarfsmenn gerðu við rannsókn sína á kosningunum með því að nota svarendur frá Xbox.

Vegna þess að þeir notuðu ósannprófunaraðferð við tölfræðilegar viðtöl (ég tala meira um tölfræðilega viðtöl í kafla 3.5), höfðu Wang og samstarfsmenn mjög hagkvæmar gagnasöfnun sem gerði þeim kleift að safna upplýsingum frá 345.858 einstökum þátttakendum , a gríðarstór tala af stöðlum kosningar kosningar. Þessi mikla sýnishornastærð gerði þeim kleift að mynda mikið fjölda eftirlagshópa. Eftir stratification felst oftast í því að skera íbúa í hundruð hópa, en Wang og samstarfsmenn skiptu íbúum í 176.256 hópa sem eru skilgreindir eftir kyni (2 flokkar), kynþáttur (4 flokkar), aldur (4 flokkar), menntun (4 flokkar), ríki (51 flokkar), flokkunarnúmer (3 flokkar), hugmyndafræði (3 flokkar) og 2008 atkvæði (3 flokkar). Með öðrum orðum gat stórt sýnishornsstærð þeirra, sem var gert kleift að nota gagnasöfnun með litlum tilkostnaði, gert þeim kleift að gera fleiri líklegar forsendur í áætluninni um matið.

Jafnvel með 345.858 einstökum þátttakendum voru hins vegar enn margir, margir hópar þar sem Wang og samstarfsmenn höfðu nánast engin svarenda. Þess vegna notuðu þeir tækni sem kallast marghliða viðbrögð til að meta stuðninginn í hverjum hópi. Í meginatriðum, til að meta stuðninginn fyrir Obama innan tiltekins hóps, sameinuðu fjölhliða viðbrögðin upplýsingar frá mörgum nátengdum hópum. Til dæmis, ímyndaðu þér að reyna að meta stuðninginn við Obama meðal kvenkyns Hispanics á aldrinum 18 til 29 ára, sem eru háskólakennarar, sem eru skráðir demókratar, sem þekkja sjálfa sig eins og meðallagi og sem kusuðu Obama árið 2008. Þetta er mjög , mjög sérstakur hópur og það er mögulegt að enginn sé í sýninu með þessum eiginleikum. Til þess að gera áætlanir um þennan hóp, notar marghliða endurtekning tölfræðileg líkan til að sameina saman áætlanir frá fólki í mjög svipuðum hópum.

Svona, Wang og samstarfsmenn notuðu nálgun sem sameina marghliða afturhvarf og eftir lagskiptingu, þannig að þeir kölluðu stefnu marghliða regression þeirra eftir lagskiptingu eða, meira ástúðlega, "herra. P. "Þegar Wang og samstarfsmenn notuðu hr. P. til að gera áætlanir úr XBox sýnishornssýni sýndu þeir áætlanir mjög nálægt þeim stuðningi sem Obama fékk í 2012 kosningum (mynd 3.8). Reyndar voru áætlanir þeirra nákvæmari en fjöldi hefðbundinna skoðanakönnunar. Svona, í þessu tilfelli, tölfræðilegar breytingar - sérstaklega Mr P. - virðast gera gott starf að leiðrétta hlutdrægni í gögnum sem eru ekki líkur. forspár sem voru greinilega sýnilegar þegar þú horfir á áætlanirnar frá óstilltu Xbox gögnunum.

Mynd 3.8: Áætlanir frá W. Wang et al. (2015) . Óstillt XBox sýni framleitt ónákvæmar áætlanir. En veginn XBox sýnishorn framleitt áætlanir sem voru nákvæmari en að meðaltali líkindatengdum símakönnunum. Aðlagað frá W. Wang et al. (2015) , tölur 2 og 3.

Það eru tvær helstu kennslustundir frá rannsókninni á Wang og samstarfsmönnum. Í fyrsta lagi geta óreglulegar líkur á sýni ekki leitt til slæmrar áætlunar. Þetta er lexía sem margir vísindamenn hafa heyrt áður. Annað lexía er hins vegar að líkur eru á því að ekki sé líklegt að hægt sé að framleiða gott mat þegar greind er rétt. Sannprófunarsýnin þurfa ekki sjálfkrafa að leiða til eitthvað eins og bókasafnsins .

Að halda áfram, ef þú ert að reyna að ákveða á milli að nota líkanamyndatökuaðferð og ósennilegan sýnatökuaðferð ertu í erfiðu vali. Stundum vilja vísindamenn fljótleg og stíf regla (td nota alltaf líkur sýnatökuaðferðir), en það er sífellt erfitt að bjóða upp á slíka reglu. Vísindamenn standa frammi fyrir erfiðu vali milli líklegra sýnatökuaðferða í reynd - sem eru sífellt dýrari og langt frá fræðilegum niðurstöðum sem réttlæta notkunarsýni þeirra og ekki líkur á sýnatöku - sem eru ódýrari og hraðari en minna kunnugleg og fjölbreyttari. Eitt sem er ljóst er hins vegar að ef þú ert þvinguð til að vinna með ósennilegum sýnum eða ótrúlegum stórum gögnum (hugsaðu aftur í kafla 2) þá er það sterk ástæða til að ætla að áætlanir gerðar með því að nota eftir lagskiptingu og tengdar tækni verður betri en óstillt, hrár mat.