3.3.2 mērīšana

Mērīšana ir par to, kā noskaidrot, ko jūsu respondenti domā un dara no tā, ko viņi saka.

Papildus pārstāvības problēmām kopējā apsekojuma kļūdu sistēma rāda, ka otrais lielākais kļūdu avots ir mērījums : kā mēs izdarām secinājumus no atbildēm, kuras respondenti sniedz saviem jautājumiem. Izrādās, ka saņemtās atbildes un līdz ar to arī mūsu izdarītie secinājumi var būt krietni un dažkārt pārsteidzoši atkarīgi - tieši tā, kā mēs lūdzam. Varbūt nekas parāda šo svarīgo aspektu labāku nekā joku brīnišķīgajā grāmatā Norman Bradburn, Seymour Sudman un Brian Wansink (2004) Jautājumu jautā :

Divi priesteri, Dominikānas un jezuīts, diskutējam, vai tas ir grēks smēķēt un lūgties, tajā pašā laikā. Pēc nespēj izdarīt secinājumu, katrs iet off konsultēties savu attiecīgo pārāks. Dominikānas saka: "Ko jūsu priekšnieks viedokli?"

Jezuītu atbild, "Viņš teica, ka tas bija labi."

"Tas ir smieklīgi," Dominikānas atbild: "Mans vadītājs teica, ka tas bija grēks."

Jezuītu sacīja: "Ko jūs lūgt viņam?" Dominikāņu atbild: "Es pajautāju, vai tas bija alright smēķēt, bet lūgšanas." "Ak" teica jezuīts, "es jautāju, vai tas bija OK lūgties kamēr smēķēšanu."

Papildus šim specifiskajam joks pētījumu pētnieki ir dokumentējuši daudzus sistemātiskus veidus, kā mācīties atkarīgs no tā, kā jūs uzdodat. Patiešām, jautājumam par šī joks saknes nosaukums ir aptaujāto pētnieku aprindās: jautājuma formas efekti (Kalton and Schuman 1982) . Lai uzzinātu, kā jautājuma veidlapu efekti var ietekmēt reālos apsekojumus, apsveriet šos divus ļoti līdzīgus izpētes jautājumus:

• "Cik daudz jūs piekrītat šādam apgalvojumam: Privātpersonas ir vairāk vainīgi nekā sociālos apstākļus noziedzības un nelikumības šajā valstī."
• "Cik daudz jūs piekrītat šādam apgalvojumam: Sociālie apstākļi ir vairāk vainīgi nekā indivīdiem noziedzības un nelikumības šajā valstī."

Lai gan abus jautājumus, šķiet, mēra vienādi, tie radīja atšķirīgus rezultātus reālā apsekojuma eksperimentā (Schuman and Presser 1996) . Kad jautāja vienā virzienā, aptuveni 60% respondentu norādīja, ka cilvēki bija vairāk vainīgi par noziegumu, bet, kad lūdza citā veidā, apmēram 60% ziņoja, ka sociālie apstākļi bija vairāk vainīgi (3.3.attēls). Citiem vārdiem sakot, mazā atšķirība starp šiem diviem jautājumiem varētu novest pētniekus pret citu secinājumu.

3.3. Attēls. Apsekojuma eksperimenta rezultāti, kas liecina, ka pētnieki var iegūt dažādas atbildes atkarībā no tā, kā viņi uzdeva jautājumu. Lielākā daļa respondentu piekrita, ka vainīgi ir vairāk vainīgi nekā sociālie apstākļi noziegumiem un likumpārkāpumiem. Un lielākā daļa respondentu piekrita pretējai: sociālie apstākļi ir vairāk atbildīgi nekā indivīdi. Pielāgots no Schuman and Presser (1996) , 8.1. Tabula.

Papildus jautājuma struktūrai respondenti var arī sniegt dažādas atbildes, atkarībā no konkrētā lietotā vārda. Piemēram, lai novērtētu viedokļus par valdības prioritātēm, respondenti izlasīja šādu uzvedni:

"Mēs saskaramies ar daudzām problēmām šajā valstī, no kuriem neviens var atrisināt viegli vai lēti. Es esmu gatavojas nosaukt dažas no šīm problēmām, un katram es gribētu, lai jūs man pateikt, vai jūs domājat, ka mēs tērēt pārāk daudz naudas par to, pārāk maz naudas, vai par pareizo summu. "

Nākamajā pusē aptaujātajiem tika uzdoti jautājumi par "labklājību", un pusei tika uzdoti jautājumi par "atbalstu trūcīgajiem". Lai gan tie varētu šķist par divām dažādām frāzēm vienādi, tie izrādīja ļoti atšķirīgus rezultātus (3.4. Attēls); Amerikāņi ziņo, ka viņi vairāk atbalsta "palīdzību nabagiem" nekā "labklājība" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

3.4. Attēls. Aptaujas eksperimentu rezultāti, kas liecina, ka respondenti daudz vairāk atbalsta "palīdzību trūcīgajiem" nekā "labklājība". Tas ir piemērs jautājuma formulējuma efektam, saskaņā ar kuru pētnieku atbildes atkarīgas tieši no tā, kādus vārdus viņi lieto viņu jautājumi. Pielāgots no Huber and Paris (2013) , tabula A1.

Kā parādīts šajos piemēros par jautājuma formas efektiem un formulējuma ietekmi, pētnieku saņemtās atbildes var ietekmēt tā, kā viņi uzdod savus jautājumus. Šie piemēri dažreiz liek pētniekiem brīnīties par "pareizo" veidu, kā uzdot savus aptaujas jautājumus. Lai gan es domāju, ka ir daži skaidri nepareizi veidi, kā uzdot jautājumu, es nedomāju, ka vienmēr ir viens pareizs veids. Tas ir, protams, nav labāk jautāt par "labklājību" vai "atbalstu trūcīgajiem"; Šie ir divi dažādi jautājumi, kas novērtē divas dažādas lietas par respondentu attieksmi. Šie piemēri dažreiz noved pie pētniekiem, lai secinātu, ka aptaujas nevajadzētu izmantot. Diemžēl dažreiz nav citas izvēles. Tā vietā es domāju, ka pareizais piemērs, kas jāizmanto no šiem piemēriem, ir tas, ka mums rūpīgi jāizstrādā savi jautājumi, un mēs nedrīkstam pieņemt atbildes nekritiski.

Precīzāk, tas nozīmē, ka, ja analizējat kāda cita iegūto apsekojumu datus, pārliecinieties, ka esat izlasījis faktisko anketu. Un, ja veidojat savu anketu, man ir četri ieteikumi. Pirmkārt, es iesaku jums lasīt vairāk par anketu izstrādi (piemēram, Bradburn, Sudman, and Wansink (2004) ); ir vairāk par to, nekā es šeit varēju aprakstīt. Otrkārt, es iesaku jums augstas kvalitātes aptaujās nokopēt vārdiskus jautājumus. Piemēram, ja jūs vēlaties lūgt respondentus par viņu rasi / etnisko piederību, varat kopēt jautājumus, kas tiek izmantoti liela mēroga valdības apsekojumos, piemēram, skaitīšanai. Lai gan tas var izklausīties kā plaģiāts, aptaujas pētījumos ir ieteicams kopēt jautājumus (ja vien norādāt sākotnējo aptauju). Ja jūs kopējat jautājumus no augstas kvalitātes apsekojumiem, varat būt pārliecināti, ka tie ir pārbaudīti, un jūs varat salīdzināt atbildes uz jūsu aptauju, lai atbildētu uz dažu citu apsekojumu atbildēm. Treškārt, ja jūs domājat, ka jūsu aptaujā varētu būt svarīgs jautājuma formulējuma efekts vai jautājuma veidlapu efekts, varat veikt aptaujas eksperimentu, kurā puse respondentu saņem vienu jautājuma versiju, bet pusei - otrā versija (Krosnick 2011) . Visbeidzot, es iesaku jums izmēģināt savus jautājumus ar dažiem cilvēkiem no jūsu rāmju populācijas; Aptaujas pētnieki šo procesu (Presser et al. 2004) pirmspārbaudē (Presser et al. 2004) . Mana pieredze ir tāda, ka aptaujas iepriekšēja pārbaude ir ļoti noderīga.