Шта да читамо следеће

• Увод (одељак 3.1)

Многе теме у овом поглављу су такође поновљене на недавним председничким адресама Америчког удружења за истраживање јавног мњења (ААПОР), као што су Dillman (2002) , Newport (2011) , Santos (2014) и Link (2015) .

Више о разликама између истраживања истраживања и дубинских интервјуа, погледајте Small (2009) . Везано за дубинске интервјуе је породица приступа који се зову етнографија. У етнографском истраживању истраживачи углавном проводе много времена са учесницима у њиховом природном окружењу. Више о разликама између етнографије и дубинских интервјуа види Jerolmack and Khan (2014) . За више информација о дигиталној етнографији погледајте Pink et al. (2015) .

Мој опис историје истраживања истраживања је превише кратак да укључи многе од узбудљивих догађаја који су се десили. За више историјског порекла погледајте Smith (1976) , Converse (1987) и Igo (2008) . Више о идеји о три ерас истраживања истраживања потражите у Groves (2011) и Dillman, Smyth, and Christian (2008) (који рашири три ерупе мало другачије).

Groves and Kahn (1979) нуде преглед унутар транзиције од прве до друге ере у истраживању истраживања правећи детаљно упоређивање између лицем у лице и телефонске анкете. ( ??? ) осврћући се на историјски развој метода узимања узорака случајно-цифреном бирањем.

Више информација о томе како се истраживање истраживања промијенило у прошлости као одговор на промјене у друштву види Tourangeau (2004) , ( ??? ) и Couper (2011) .

• Питање наспрам посматрања (одељак 3.2)

Снаге и слабости питања и посматрања расправљали су психолози (нпр. Baumeister, Vohs, and Funder (2007) ) и социолози (нпр. Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) , Jerolmack and Khan (2014) ] Разлика између тражења и посматрања такође се јавља у економији, где истраживачи говоре о утврђеним и откривеним преференцама.На пример, истраживач може питати испитанике да ли воле да једу сладолед или да оду у теретану (наводи се преференције), или може посматрати колико често људи једу сладолед и оду у теретану (откривене преференције). Постоји дубок скептицизам о одређеним врстама података о преференцама у економији како је описано у Hausman (2012) .

Главна тема ових дебата јесте да пријављено понашање није увек тачно. Али, као што је описано у поглављу 2, велики извори података можда нису тачни, они се не могу прикупљати на узорку од интереса и можда неће бити доступни истраживачима. Стога, мислим да у неким ситуацијама, пријављено понашање може бити корисно. Даље, друга главна тема ових расправа је да извештаји о емоцијама, знањима, очекивањима и мишљењима нису увек тачни. Међутим, ако су истраживачи потребни подаци о овим унутрашњим стањима - или да би се објаснило неко понашање или као нешто што треба објаснити - тада питање може бити адекватно. Наравно, учење о унутрашњим државама постављањем питања може бити проблематично јер понекад сами испитаници нису свјесни својих унутрашњих стања (Nisbett and Wilson 1977) .

• Укупна грешка у прегледу (поглавље 3.3)

Поглавље 1 Groves (2004) чини одличан посао у складу са повременом недоследном терминологијом коју користе истраживачи истраживања ради описа укупног оквира грешке у истраживању. За детаљно третирање укупног оквира грешке у истраживању, погледајте Groves et al. (2009) , и за историјски преглед, види Groves and Lyberg (2010) .

Идеја о разлагању грешака у пристрасности и варијанси такође се појављује у машинском учењу; види, на пример, одјељак 7.3 Hastie, Tibshirani, and Friedman (2009) . Ово често доводи истраживаче да разговарају о компромису "одступања од одступања".

У погледу заступања, изванредан увод у питања непријатности и неусаглашености пристрасности је извјештај Националног истраживачког вијећа о непостојању у истраживањима друштвених наука: истраживачки програм (2013) . Још један корисни преглед пружа Groves (2006) . Такође, на тему неодазивања објављени су и цела посебна издања часописа Службена статистика , Куартерли Публиц Опинион и Анали Америчке академије политичких и друштвених наука . Коначно, заправо постоји много различитих начина израчунавања стопе одговора; ови приступи су детаљно описани у извештају Америчког удружења истраживача јавног мњења (ААПОР) ( ??? ) .

Више о Анкети Литерарног Дигеста из 1936. види Bryson (1976) , Squire (1988) , Cahalan (1989) и Lusinchi (2012) . За још једну дискусију о овој анкети као приговарајућем упозорењу против случајног прикупљања података, погледајте Gayo-Avello (2011) . Године 1936. Георге Галлуп је користио софистициранији облик узорковања и био је у стању да произведе прецизније процене са много мањим узорком. Успјех Галлуп-а у вези са литерарним подацима био је прекретница у развоју истраживачког истраживања као што је описано у поглављу 3 @ цонверсе_сурвеи_1987; поглавље 4 Ohmer (2006) ; и поглавље 3 @ иго_аверагед_2008.

Што се тиче мерења, одличан први извор за дизајнирање упитника су Bradburn, Sudman, and Wansink (2004) . За напредније третмане, погледајте Schuman and Presser (1996) , који је посебно фокусиран на постављање питања, и Saris and Gallhofer (2014) , што је опћенито. Нешто другачији приступ мерењу узима се у психометрији, како је описано у ( ??? ) . Више о претенцији доступно је у Presser and Blair (1994) , Presser et al. (2004) и поглавље 8 Groves et al. (2009) . За више о експериментима истраживања, погледајте Mutz (2011) .

Што се тиче трошкова, класични, књиговодски третман компромиса између трошкова истраживања и грешака у истраживању је Groves (2004) .

• Ко да тражи (члан 3.4)

Два класична третмана дужине трајања књига стандардних вероватноћа узорковања и процјене су Lohr (2009) (уводни Särndal, Swensson, and Wretman (2003) ) и Särndal, Swensson, and Wretman (2003) (напреднији). Класичан третман пост-стратификације и сродних метода је Särndal and Lundström (2005) . У неким поставкама дигиталне доби, истраживачи знају доста о неописивачима, што у прошлости није било често истинито. Различити облици прилагођавања без одговора су могући када истраживачи имају информације о неописачима, као што су описали Kalton and Flores-Cervantes (2003) и Smith (2011) .

Студија W. Wang et al. (2015) користи технику под називом вишестепена регресија и пост-стратификацију ("г. П.") која дозвољава истраживачима да процене групна средства чак и када има много, много група. Иако постоји одређена дебата о квалитети процена из ове технике, чини се да је то перспективно подручје за истраживање. Техника је први пут коришћена у Park, Gelman, and Bafumi (2004) , а касније је коришћена и дебата (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Више о везама између појединачних тежина и тежинских група види Gelman (2007) .

За друге приступе у пондерисању веб истраживања, погледајте Schonlau et al. (2009) , Bethlehem (2010) и Valliant and Dever (2011) . Онлине панели могу да користе или узорковање вероватноће или узорковање без вероватноће. За више информација о онлине панели погледајте Callegaro et al. (2014) .

Понекад су истраживачи утврдили да узорци вероватноће и узорци који нису вјеројатни доносе процене сличног квалитета (Ansolabehere and Schaffner 2014) , али друга упоређивања су утврдила да су узорци који нису вјеројатни лошији (Malhotra and Krosnick 2007; Yeager et al. 2011) . Један од могућих разлога за ове разлике јесте то што су узорци без вероватноће побољшани током времена. За више песимистичког погледа на начине узорковања без вероватноће видети ААПОР Таск Форце за узимање узорака који нису вероватни (Baker et al. 2013) , а такође препоручујем и читање коментара који слиједи извјештај сажетка.

• Како поставити питање (одељак 3.5)

Conrad and Schober (2008) је уређен обим под називом Представљање истраживачког интервјуа будућности и нуди разне ставке о будућности постављања питања. Couper (2011) обрађује сличне теме, а Schober et al. (2015) представљају добар пример како методе прикупљања података које су прилагођене новој поставци могу резултирати квалитетнијим подацима. Schober and Conrad (2015) нуде општије аргументе о наставку прилагођавања процеса истраживања истраживања у складу са променама у друштву.

Tourangeau and Yan (2007) разматрају питања пристрасности друштвене пожељности у осетљивим питањима, и Lind et al. (2013) нуде неке могуће разлоге због којих људи могу открити осетљиве информације у интервјуу који се спроводи путем рачунара. Више о улози људских анкетара у повећању стопе партиципације у анкетама види Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) и Schaeffer et al. (2013) . Више о анкетама у мешовитом режиму погледајте Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) нуди књиговодско лечење еколошких тренутних процјена и сродних метода.

За више савета о томе како истраживања могу да буду пријатна и драгоцена искуства за учеснике, погледајте рад на методу прилагођеног дизајна (Dillman, Smyth, and Christian 2014) . За још један занимљив пример коришћења Фацебоок апликација за истраживања друштвених наука, погледајте Bail (2015) .

• Анкете повезане са великим изворима података (одељак 3.6)

Judson (2007) описује процес комбиновања истраживања и административних података као "информационе интеграције" и дискутује о неким предностима овог приступа, као и нудећи неке примере.

Што се тиче обогаћеног питања, било је много претходних покушаја да се потврди гласање. За преглед те литературе погледајте Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) и Berent, Krosnick, and Lupia (2016) и Berent, Krosnick, and Lupia (2016) . Погледајте Berent, Krosnick, and Lupia (2016) за скептичнији приказ резултата представљених у Ansolabehere and Hersh (2012) .

Важно је напоменути да иако су Ансолабехере и Херсх охрабрени квалитетом података из Катализа, остале евалуације комерцијалних произвођача су биле мање ентузијазмоване. Pasek et al. (2014) пронашла лошу квалитету када су подаци из анкете упоређени са потрошачким досијеом из Маркетинг Системс Гроуп (која је сама спојила податке од три провајдера: Ацкиом, Екпериан и ИнфоУСА). То значи да се датотека са подацима не поклапа са одговорима анкетирања који су истраживачи очекивали да буду тачни, потрошачки фајл је пропустио податке за велики број питања, а недостајући образац података био је у корелацији са пријављеном вриједношћу анкете (другим ријечима, нестало подаци су систематски, а не случајни).

За више о рекордној повезаности истраживања и административних података, погледајте Sakshaug and Kreuter (2012) и Schnell (2013) . Више о рекордној повезаности уопште види Dunn (1946) и Fellegi and Sunter (1969) (историјски) и Larsen and Winkler (2014) (модерни). Слични приступи су такође развијени у рачунарским наукама под називима као што су дедупликација података, идентификација инстанце, подударање имена, дуплирање детекције и дуплирана детекција записа (Elmagarmid, Ipeirotis, and Verykios 2007) . Постоје и приступи који чувају приватност за снимање везе које не захтевају пренос личних података (Schnell 2013) . Истраживачи на Фацебоок-у су развили процедуру за пробабилистички повезивање својих података са гласачким понашањем (Jones et al. 2013) ; ова веза је учињена како би се проценио експеримент који ћу вам рећи у поглављу 4 (Bond et al. 2012) . За више информација о добијању сагласности за рекордну везу, погледајте Sakshaug et al. (2012) .

Још један пример повезивања великог друштвеног истраживања са државним административним подацима потиче од Анкете о здрављу и пензији и Управе за социјално осигурање. Више о овој студији, укључујући информације о поступку сагласности, види Олсон (1996, 1999) .

Процес комбинирава многих извора административних података у главну датотеку података - процес који користи Цаталиста - је уобичајен у статистичким уредима неких националних влада. Два истраживача из Статистике Шведске написали су детаљну књигу о овој теми (Wallgren and Wallgren 2007) . За пример овог приступа у једној жупанији у Сједињеним Државама (Олмстеад Цоунти, Миннесота, дом Клинике Маио), погледајте Sauver et al. (2011) . За више информација о грешкама које се могу појавити у административним подацима, погледајте Groen (2012) .

Други начин на који истраживачи могу користити велике изворе података у истраживању истраживања јесте оквир за узорке за људе са специфичним карактеристикама. Нажалост, овај приступ може покренути питања везана за приватност (Beskow, Sandler, and Weinberger 2006) .

Што се тиче појачаних питања, овај приступ није толико нов као што се то могло појавити од како сам га описао. Има дубоке везе са три велике области у статистици: пост-стратификација заснована на моделу (Little 1993) , импутација (Rubin 2004) и процјена малих површина (Rao and Molina 2015) . Такође се односи на употребу сурогатних варијабли у медицинским истраживањима (Pepe 1992) .

Процене трошкова и времена у Blumenstock, Cadamuro, and On (2015) односе се више на варијабилне трошкове - трошкове једног додатног истраживања - и не укључују фиксне трошкове, као што су трошкови чишћења и обраде података о позиву. Генерално, појачано тражење ће вероватно имати високе фиксне трошкове и ниске варијабилне трошкове сличне онима у дигиталним експериментима (види поглавље 4). За више информација о анкетама заснованим на мобилним телефонима у земљама у развоју погледајте Dabalen et al. (2016) .

За идеје о томе како се побољшати тражити боље, препоручио бих да сазнам више о вишеструкој импутацији (Rubin 2004) . Такође, ако истраживачи раде појачане питањем о укупним бројевима, а не на особинама на нивоу појединачног нивоа, онда би приступи у King and Lu (2008) и Hopkins and King (2010) били корисни. На крају, за више информација о приступима за учење машина у Blumenstock, Cadamuro, and On (2015) , погледајте James et al. (2013) (уводно) или Hastie, Tibshirani, and Friedman (2009) (напреднији).

Једно етично питање у вези са појачаним питањем јесте да се он може користити за закључивање осјетљивих особина које људи не би могли одабрати да открију у анкети описаној у Kosinski, Stillwell, and Graepel (2013) .