3.3.2 mittaus

Mittaus koskee päätelmää, jonka vastaajat ajattelevat ja tekevät siitä, mitä he sanovat.

Edustuksen ongelmien lisäksi kokonaisvastuuvirtaus osoittaa, että toinen tärkeä virheen lähde on mittaus : miten saamme johtopäätöksiä vastauksista, jotka vastaajat antavat kysymyksillemme. On käynyt ilmi, että saamamme vastaukset ja siksi tekemämme päätelmät voivat riippua kriittisesti - ja joskus yllättävistä tavoista - täsmälleen miten me pyydämme. Ehkä mitään kuvaa tätä tärkeän asian paremmin kuin vitsi ihanuuden Kysymysten Norman Bradburn, Seymour Sudman ja Brian Wansink (2004) :

Kaksi pappia, Dominican ja jesuiitta, keskustellaan onko se synti tupakoida ja rukoilla samanaikaisesti. Epäonnistuttuaan johtopäätöksen, jokainen menee pois kuulla hänen vastaaviin ylivoimainen. The Dominican sanoo, "Mitä esimiehesi sanoa?"

Jesuiitta vastaa, "Hän sanoi että se oli kunnossa."

"Se on hauskaa" Dominikaanisessa vastaa: "Esimieheni sanoi, että se oli syntiä."

Jesuiitta sanoi: "Mitä sinä kysyä häneltä?" The Dominican vastaa: "Kysyin jos se oli kunnossa tupakoida rukoillessaan." "Ai" sanoi jesuiitta, "Kysyin jos se oli OK rukoilla, kun tupakointi."

Tämän erityisen vitsan lisäksi kyselyn tutkijat ovat dokumentaineet monia systemaattisia tapoja, joita oppimasi riippuu siitä, miten kysyt. Itse asiassa juuri tämä vitsiin liittyvä kysymys on nimessä kyselytutkimusyhteisö: kysymysmuotoiset vaikutukset (Kalton and Schuman 1982) . Voit tarkastella, miten kysymyslomakevaikutukset voivat vaikuttaa todellisiin kyselyihin. Tarkastele näitä kahta hyvin samanlaista kyselyä:

• "Kuinka paljon olet samaa mieltä seuraavan väittämän kanssa: Yksilöt ovat syyllisiä kuin sosiaalisten olojen rikosten ja laittomuutta tässä maassa."
• "Kuinka paljon olet samaa mieltä seuraavan lausuman: Sosiaalinen olosuhteet ovat syyllisiä kuin yksilöitä rikosten ja laittomuutta tässä maassa."

Vaikka molemmat kysymykset vaikuttavat samanlaiselta, ne tuottivat erilaisia ​​tuloksia todellisessa tutkimuskokeessa (Schuman and Presser 1996) . Kysyttäessä yksi tapa, noin 60% vastaajista ilmoitti, että yksilöillä oli enemmän syyllisyyttä rikollisuuteen, mutta kysyttäessä toisinpäin noin 60% ilmoitti, että sosiaaliset olosuhteet olivat enemmän syyllisiä (kuva 3.3). Toisin sanoen näiden kahden kysymyksen välinen pieni ero voisi johtaa tutkijoiden erilaiseen lopputulokseen.

Kuva 3.3: Tutkimuskokeilun tulokset, jotka osoittavat, että tutkijat voivat saada erilaisia ​​vastauksia riippuen siitä, miten he ovat esittäneet kysymyksen. Suurin osa vastaajista oli yhtä mieltä siitä, että yksilöt ovat syyllisempää kuin rikollisuuden ja laittomuuden sosiaaliset olosuhteet. Ja vastaajien enemmistö oli samaa mieltä siitä, että sosiaaliset olosuhteet ovat vastuullisempia kuin yksilöt. Mukautettu Schuman and Presser (1996) , taulukko 8.1.

Kysymyksen rakenteen lisäksi vastaajat voivat myös antaa erilaisia ​​vastauksia riippuen käytetyistä sanoista. Esimerkiksi hallituksen painopisteiden mielipiteiden mittaamiseksi vastaajille luettiin seuraava kehotus:

"Edessämme on monia ongelmia tässä maassa, joista yksikään voidaan ratkaista helposti tai edullisesti. Aion nimetä joitakin näistä ongelmista, ja kullekin Haluaisin sinun kertovan minulle, onko luulet olemme liian paljon rahaa se, liian vähän rahaa, eli noin oikea määrä. "

Seuraavaksi puolet vastaajista kysyttiin "hyvinvoinnista" ja puolet kysyttiin "avusta köyhille". Vaikka nämä saattavat vaikuttaa samanlaisilta kahdelta eri lauseelta, he toivat hyvin erilaisia ​​tuloksia (kuva 3.4); Amerikkalaiset kertovat tukevansa paljon "köyhille annettavaa apua" kuin "hyvinvointi" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Kuva 3.4: Tutkimuskokeiden tulokset, jotka osoittavat, että vastaajat tukevat paljon "köyhien tuesta" kuin "hyvinvoinnista". Tämä on esimerkki kysymyksen sanamuodosta, jonka mukaan tutkijoiden vastaukset riippuvat siitä, mitä sanoja he käyttävät heidän kysymyksensä. Mukautettu Huber and Paris (2013) taulukosta A1.

Koska nämä esimerkit kyselylomakkeiden vaikutuksista ja sanamuodon vaikutuksista osoittavat, tutkijoiden vastauksia voi vaikuttaa siihen, miten he esittävät kysymyksiä. Nämä esimerkit viittaavat joskus tutkijoihin ihmettelemään "oikeaa" tapaa kysyä kyselykysymyksiään. Vaikka luulen, että on olemassa joitakin selvästi väärin tapoja esittää kysymys, minusta ei aina ole yhtä oikeaa tapaa. Toisin sanoen ei ole selvää, että on parempi kysyä "hyvinvoinnista" tai "tuesta köyhille"; nämä ovat kahta eri kysymystä, jotka mittaavat kahta eri asiaa vastaajien asenteista. Nämä esimerkit johtavat myös joskus tutkijoiden päätelmiin, joiden mukaan tutkimuksia ei tule käyttää. Valitettavasti joskus ei ole muuta vaihtoehtoa. Sen sijaan mielestäni oikea oppitunti näistä esimerkeistä on se, että meidän pitäisi rakentaa kysymyksemme huolellisesti, emmekä saa hyväksyä vastauksia kriittisesti.

Useimmiten tämä tarkoittaa sitä, että jos analysoit jonkun muun keräämiä kyselytietoja, varmista, että olet lukenut todellisen kyselylomakkeen. Ja jos luot oman kyselylomakkeen, minulla on neljä ehdotusta. Ensinnäkin ehdotan, että lue lisää kyselylomakkeiden suunnittelusta (esim. Bradburn, Sudman, and Wansink (2004) ); tähän on enemmän kuin olen kyennyt kuvaamaan täällä. Toiseksi, ehdotan, että kopioit sanan sanakysymyksistä laadukkaista tutkimuksista. Jos esimerkiksi haluat kysyä vastaajilta heidän rodun / etnisen alkuperänsä, voit kopioida kysymyksiä, joita käytetään suurissa julkisissa tutkimuksissa, kuten väestönlaskennassa. Vaikka tämä saattaa kuulostaa plagioitumiselta, kyselyjen kopiointia kannustetaan tutkimustutkimuksessa (kunhan mainitset alkuperäisen kyselyn). Jos kopioit kysymyksiä laadukkaista kyselyistä, voit olla varma, että ne on testattu, ja voit verrata vastauksia kyselyynsi vastauksiin joistakin muista kyselyistä. Kolmanneksi, jos epäilet, että kyselylomakkeeseesi voi olla tärkeitä kysymyssanojen vaikutuksia tai kysymyslomakevaikutuksia, voit suorittaa kyselykokeen, jossa puolet vastaajista saa yhden version kysymyksestä ja puolet saa toisen version (Krosnick 2011) . Lopuksi ehdotan, että ohjaat kokeilemalla kysymyksiä joidenkin ihmisten kanssa kehysväestöstäsi; Kyselyn tutkijat kutsuvat tätä prosessia esitestiksi (Presser et al. 2004) . Kokemukseni on, että tutkimuksen ennakkotestaus on erittäin hyödyllistä.