3.3.2 Вымярэнне

Вымярэнне аб выводзячы , што вашы рэспандэнты думаюць і робяць з таго, што яны гавораць.

У дадатку да праблем прадстаўлення, агульная структура памылак даследаванні паказвае , што другі асноўная крыніца памылак вымярэнне: як мы робім высновы з адказаў рэспандэнтаў , якія даюць на нашыя пытаньні. Аказваецца, што адказы, якія мы атрымліваем, і таму высновы, якія мы робім, можа залежаць крытычна і ў часам надзвычайныя спосабы, як менавіта мы пытаем. Мабыць , нішто не ілюструе гэта важны момант лепш , чым жарты ў выдатнай кнізе Задаваць пытанні Нормана Bradburn, Seymour Sudman, і Браян Wansink (2004) :

Два святара, дамініканскі і езуіцкі, абмяркоўваюць, ці з'яўляецца гэта грахом паліць і маліцца ў той жа час. Пасля няўдалай спробы прыйсці да высновы, кожны сыходзіць пракансультавацца яго вышэйстаячага. Дамініканскі кажа: «Што ж ваш начальнік сказаў?"

Езуіт адказвае: "Ён сказаў, што гэта было ў парадку."

"Гэта смешна" Дамініканскую адказвае: "Мой кіраўнік сказаў, што гэта грэх."

Езуіт сказаў: "Што вы спыталі?" Дамініканскі адказвае: "Я спытаў у яго, калі гэта было ў парадку паліць падчас малітвы." "О", сказаў езуіт, "Я спытаў, калі гэта было ў парадку, каб маліцца падчас курэння."

Акрамя гэтай канкрэтнай жарты, даследчыкі даследаванні зафіксавалі шмат сістэматычных спосабаў, што вы даведаецеся, залежыць ад таго, як вы пытаецеся. На самай справе, сама праблема ў корані гэтага жарту ёсць імя у апытанні даследчага супольнасці: формы эфекты пытання (Kalton and Schuman 1982) . Каб убачыць, як форма пытання эфекты могуць паўплываць на рэальныя даследаванні, разгледзець гэтыя два вельмі падобныя выглядаюць пытанні анкеты:

• "Наколькі вы згодныя з наступным сцвярджэннем: Асобы , больш вінаватыя , чым сацыяльныя ўмовы для здзяйснення злачынстваў і беззаконня ў гэтай краіне."
• "Наколькі вы згодныя з сцвярджэннем , сацыяльныя ўмовы з'яўляюцца больш вінаватыя , чым фізічных асоб за злачынствы і правіны ў гэтай краіне."

Хоць абодва пытання , па ўсёй бачнасці вымяраць тое ж самае, што яны атрымліваюць розныя вынікі ў рэжыме рэальнага абследавання эксперыменту (Schuman and Presser 1996) . Калі яго спыталі , у адзін бок, каля 60% рэспандэнтаў паведамілі , што людзі былі больш вінаватыя ў злачынстве, але калі яго спыталі , у другі бок, каля 60% паведамілі аб тым , што сацыяльныя ўмовы былі больш вінаватыя (малюнак 3.3). Іншымі словамі, невялікае адрозненне паміж гэтымі двума пытаннямі можа прывесці даследчыкаў да іншага высновы.

Малюнак 3.3: Вынікі даследавання эксперыменту, які паказвае, што даследчыкі могуць атрымаць розныя адказы ў залежнасці ад, як менавіта яны задаюць пытанне. Большасць рэспандэнтаў пагадзілася з тым, што людзі больш вінаваты, чым сацыяльныя ўмовы для злачыннасці і беззаконня. І большасць рэспандэнтаў пагадзіліся з процілеглым: што сацыяльныя ўмовы больш адказныя, чым людзі. Адаптавана з Schuman and Presser (1996) , табліцы 8.1.

У дадатку да структуры пытання, рэспандэнты могуць таксама даць розныя адказы, у залежнасці ад канкрэтных выкарыстоўваюцца слоў. Напрыклад, для таго, каб вымераць думкі аб урадавых прыярытэтаў, рэспандэнты чыталіся наступны радок:

"Мы сутыкнуліся з многімі праблемамі ў гэтай краіне, ні адзін з якіх можа быць вырашана лёгка і нядорага. Я збіраюся назваць некаторыя з гэтых праблем, і для кожнага з іх я хацеў бы, каб вы сказалі мне, ці лічыце вы, што мы марнаваць занадта шмат грошай на яго, занадта мала грошай, або аб правільным колькасці ".

«Дапамогі для бедных» Далей, палова рэспандэнтаў пыталіся пра «дабрабыце», а палова былі зададзены пытанні аб Хоць гэта можа здацца, што дзве розныя фразы для адной і той жа рэчы, яны выклікалі вельмі розныя вынікі (малюнак 3.4); Амерыканцы паведамляюць аб тым , значна больш спрыяльнай "дапамогі бедным» , чым «росквіту» (Smith 1987; Rasinski 1989; Huber and Paris 2013) , (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Малюнак 3.4: «дабрабыту» Вынікі даследавання эксперыменты, якія паказваюць, што рэспандэнты значна больш падтрымліваюць «дапамога бедным», чым гэта прыклад фармулёўка пытання эфекту пры якім адказы, якія атрымліваюць даследчыкі залежаць ад дакладна, якія словы яны выкарыстоўваюць у іх пытанні. Ўзята з Huber and Paris (2013) , табліца А1.

Як паказваюць гэтыя прыклады аб пытальных формаў эфектаў і фармулёвак эфектаў паказваюць, што адказы, якія атрымліваюць даследчыкі могуць уплываць як яны задаюць свае пытанні. Гэтыя прыклады часам прыводзяць даследчыкаў задацца пытаннем аб «правільным» шляху, каб задаць свае пытанні анкеты. Хоць я думаю, што ёсць некаторыя відавочна няправільныя спосабы, каб задаць пытанне, я не думаю, што заўсёды ёсць адзін адзіны правільны шлях. Гэта значыць, гэта не відавочна, лепш спытаць пра «дабрабыце» або «дапамогі для бедных»; гэта два розныя пытанні, якія вымяраюць розныя рэчы пра стаўленне рэспандэнтаў. Гэтыя прыклады таксама часам прыводзяць даследчыкаў да высновы, што даследаванні не павінны выкарыстоўвацца. На жаль, часам няма выбару. Замест гэтага, я думаю, правільны ўрок, які выцякае з гэтых прыкладаў з'яўляецца тое, што мы павінны старанна будаваць нашы пытанні, і мы не павінны прымаць адказы некрытычна.

Найбольш канкрэтна, гэта азначае, што калі вы аналізуеце дадзеныя абследавання, сабраныя кімсьці іншым, пераканайцеся, што вы прачыталі фактычны апытальнік. І калі вы ствараеце свой уласны апытальнік, у мяне ёсць чатыры прапановы. Ва- першых, я прапаную вам прачытаць больш аб распрацоўцы апытальніка (напрыклад, Bradburn, Sudman, and Wansink (2004) ); ёсць больш да гэтага, чым я быў у стане апісаць тут. Па-другое, я прапаную вам скапіяваць слова ў слова-пытанні даследаванняў высокай якасці. Напрыклад, калі вы хочаце спытаць рэспандэнтаў аб іх расавай / этнічнай прыналежнасці, вы можаце капіяваць пытанні, якія выкарыстоўваюцца ў буйнамаштабных дзяржаўных абследаванняў, такіх, як перапіс. Хоць гэта можа гучаць як плагіят, капіяванне пытанні рэкамендуюцца ў агляднай даследаванні (да таго часу, як вы працытаваць арыгінальны агляд). Калі вы капіруеце пытанні абследаванняў высокай якасці, вы можаце быць упэўнены ў тым, што яны былі правераныя, і вы можаце параўнаць адказы на ваш апытанне на адказы ад некаторых іншых абследаванняў. В- трэцяе, калі вы лічыце , што ваша анкета можа ўтрымліваць важнае пытанне эфекты фармулёўкі або форму пытання эфектаў, вы можаце запусціць аглядную эксперымент , у якім палова рэспандэнтаў атрымліваюць адну версію гэтага пытання і палова атрымаць іншую версію (Krosnick 2011) . Нарэшце, я мяркую, што вы пілот-праверыць свае пытанні з некаторымі людзьмі з вашага кадра насельніцтва; Даследчыкі даследаванні называюць гэты працэс папярэдняга тэставання (Presser et al. 2004) і (Presser et al. 2004) , (Presser et al. 2004) . Мой вопыт паказвае, што абследаванне загадзя тэставанне з'яўляецца надзвычай карысным.