3.3.2 Măsurarea

Măsurarea înseamnă a deduce ceea ce respondenții dvs. gândesc și fac din ceea ce spun ei.

Pe lângă problemele de reprezentare, cadrul general de eroare a sondajului arată că cea de-a doua sursă majoră de erori este măsurarea : cum facem deducții din răspunsurile pe care respondenții le pun întrebărilor noastre. Se pare că răspunsurile pe care le primim și, prin urmare, concluziile pe care le facem, pot depinde critic - și uneori surprinzătoare - de exact cum ne cerem. Poate că nimic nu ilustrează acest punct important mai mult decât o glumă în cartea minunată " Asking Questions" de Norman Bradburn, Seymour Sudman și Brian Wansink (2004) :

Doi preoți, dominican și un iezuit, se discută dacă acesta este un păcat să fumeze și să se roage în același timp. Dupa ce nu a ajunge la o concluzie, fiecare se stinge să se consulte superiorul ierarhic respectiv. Dominican spune: ": Ce a spus superiorul?"

Iezuitul răspunde: "El a spus că a fost bine."

"E amuzant", răspunde dominican, "supraveghetorul meu a spus că a fost un păcat."

Iezuitul a spus: "Ce i-ai întrebat?", Răspunde Dominican, "l-am întrebat dacă era bine să fumeze în timp ce se ruga." "Oh", a spus iezuitul, "l-am întrebat dacă era în regulă să se roage în timp ce fumatul."

Dincolo de această glumă specifică, cercetătorii din sondaj au documentat multe moduri sistematice că ceea ce învățați depinde de modul în care cereți. De fapt, însăși problema de la rădăcina acestei glume are un nume în comunitatea de cercetare a sondajului: efectele formei de întrebare (Kalton and Schuman 1982) . Pentru a vedea cum efectele formularelor de întrebări ar putea influența anchetele reale, luați în considerare aceste două întrebări foarte apropiate de sondaj:

• "Cât de mult sunteți de acord cu următoarea afirmație: Indivizii sunt mai vinovați decât condițiile sociale pentru crimă și fărădelege în această țară."
• "Cât de mult sunteți de acord cu următoarea declarație: Condițiile sociale sunt mai vinovați decât indivizii pentru crimă și fărădelege în această țară."

Deși ambele întrebări par să măsoare același lucru, au produs rezultate diferite într-un experiment real (Schuman and Presser 1996) . Întrebați într-un fel, aproximativ 60% dintre respondenți au raportat că indivizii au fost mai de vină pentru infracționalitate, dar atunci când au fost invitați, aproximativ 60% au raportat că sunt mai multe vicii sociale (figura 3.3). Cu alte cuvinte, diferența redusă dintre aceste două întrebări ar putea conduce cercetătorii la o concluzie diferită.

Figura 3.3: Rezultatele unui experiment de sondaj care arată că cercetătorii pot obține răspunsuri diferite în funcție de modul în care au pus întrebarea. Majoritatea respondenților au fost de acord că indivizii sunt mai de vină decât condițiile sociale pentru crime și fărădelege. Și majoritatea respondenților au fost de acord cu contrariul: condițiile sociale sunt mai responsabile decât indivizii. Adaptat de la Schuman and Presser (1996) , tabelul 8.1.

În plus față de structura întrebării, respondenții pot da și răspunsuri diferite, în funcție de cuvintele specifice utilizate. De exemplu, pentru a măsura opiniile cu privire la prioritățile guvernamentale, respondenții au citit următorul prompt:

"Ne confruntăm cu multe probleme în această țară, niciunul dintre acestea nu pot fi rezolvate cu ușurință sau cu costuri reduse. Voi menționa câteva dintre aceste probleme, iar pentru fiecare aș vrea să-mi spui dacă crezi că cheltuim prea mulți bani pe el, prea puțini bani, sau cu privire la suma corectă. "

Apoi, jumătate dintre respondenți au fost întrebați despre "bunăstarea" și jumătate au fost întrebați despre "ajutor pentru cei săraci". În timp ce aceștia ar putea părea ca două fraze diferite pentru același lucru, au provocat rezultate foarte diferite (figura 3.4); Americanii raportează că sunt mult mai susținători în ceea ce privește "ajutorul pentru săraci" decât "bunăstarea" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figura 3.4: Rezultatele dintr-un experiment de sondaj care arată că respondenții susțin mult mai mult "ajutorul pentru cei săraci" decât "bunăstarea". Acesta este un exemplu de efect de formulare a întrebărilor prin care răspunsurile pe care le primesc cercetătorii depind exact de cuvintele pe care le folosesc întrebările lor. Adaptat de la Huber and Paris (2013) , tabelul A1.

Cum arată aceste exemple privind efectele formelor de întrebare și efectele formularelor, răspunsurile pe care le primesc cercetătorii pot fi influențate de modul în care își pun întrebările. Aceste exemple îi fac uneori pe cercetători să se întrebe despre modul "corect" de a pune întrebările lor de anchetă. În timp ce cred că există unele moduri vădite greșite de a pune o întrebare, nu cred că există întotdeauna un singur mod corect. Adică, nu este în mod evident mai bine să ne întrebăm despre "bunăstarea" sau "ajutorul pentru cei săraci"; acestea sunt două întrebări diferite care măsoară două lucruri diferite despre atitudinea respondenților. Aceste exemple, uneori, îi determină pe cercetători să concluzioneze că anchetele nu ar trebui utilizate. Din păcate, uneori nu există altă opțiune. În schimb, cred că lecția potrivită din aceste exemple este că ar trebui să ne construim cu atenție întrebările și nu ar trebui să acceptăm răspunsurile necritic.

În mod concret, aceasta înseamnă că, dacă analizați datele de anchetă colectate de altcineva, asigurați-vă că ați citit chestionarul efectiv. Și dacă îți creezi propriul chestionar, am patru sugestii. În primul rând, vă sugerez să citiți mai multe despre proiectarea chestionarului (de exemplu, Bradburn, Sudman, and Wansink (2004) ); există mai multe lucruri decât cele pe care le-am putut descrie aici. În al doilea rând, vă sugerez să copiați cuvântul pentru întrebări de tip cuvânt de la sondaje de înaltă calitate. De exemplu, dacă doriți să întrebați respondenții despre rasa / etnia dvs., puteți copia întrebările care sunt utilizate în anchetele guvernamentale la scară largă, cum ar fi recensământul. Deși acest lucru ar părea plagiat, copierea întrebărilor este încurajată în cercetarea studiilor (atâta timp cât citezi studiul original). Dacă copiați întrebări din sondaje de înaltă calitate, puteți fi siguri că au fost testate și puteți compara răspunsurile la sondaj cu răspunsurile din alte studii. În al treilea rând, dacă credeți că chestionarul dvs. ar putea conține efecte importante de formulare a întrebărilor sau efecte ale formularului de întrebare, puteți efectua un experiment în cazul în care jumătate dintre respondenți primesc o versiune a întrebării și jumătate primesc cealaltă versiune (Krosnick 2011) . În cele din urmă, vă sugerez să vă testați-vă întrebările cu niște oameni din populația dvs. de cadre; Cercetătorii de sondaj numesc acest proces de pre-testare (Presser et al. 2004) . Experiența mea este că pretestarea anchetei este extrem de utilă.