Mezi se sou enferans sa ki repond ou yo panse ak fè soti nan sa yo di.
Anplis de pwoblèm ki genyen nan reprezantasyon, fondasyon total erè sondaj la montre ke dezyèm sous prensipal la nan erè se mezi : ki jan nou fè enferans soti nan repons yo ki repond bay kesyon nou an. Li sanble ke repons nou resevwa, ak Se poutèt sa enkyetid yo nou fè, ka depann kritik-ak nan pafwa etone fason-sou egzakteman ki jan nou mande. Petèt pa gen anyen ki montre pwen enpòtan sa a pi bon pase yon blag nan liv Kesyon Prensipal Kesyon pa Norman Bradburn, Seymour Sudman, ak Brian Wansink (2004) :
De prèt yo, yon Dominikèn ak yon Jezuit, ap diskite si li se yon peche yo fimen yo, lapriyè nan menm tan an. Apre li pap resevwa yo rive jwenn yon konklizyon, chak ale yo ale nan konsilte siperyè respektif l 'yo. Dominikèn an di, "Ki sa ou siperyè di?"
Jezuit nan reponn, "Li te di li te byen."
"Sa a komik" Dominikèn nan Replies, "sipèvizè mwen te di li te yon peche."
Jezuit a te di, "Ki sa ou te mande l '?" Dominikèn nan Replies, "Mwen mande l' si li te Oke yo fimen pandan y ap lapriyè." "Oh" te di Jezuit a, "Mwen te mande si li te OK yo lapriyè pandan y ap fimen."
Beyond sa a blag espesifik, chèchè sondaj yo te dokimante anpil fason sistematik ki sa ou aprann depann sou ki jan ou mande. An reyalite, pwoblèm nan anpil nan rasin lan nan blag sa a gen yon non nan kominote rechèch la sondaj: efè fòm kesyon (Kalton and Schuman 1982) . Pou wè ki efè fòm kesyon yo kapab gen enpak sou sondaj reyèl, konsidere kesyon de kesyon ki sanble anpil tankou:
Malgre ke tou de kesyon parèt yo mezire menm bagay la, yo pwodwi rezilta diferan nan yon eksperyans sondaj reyèl (Schuman and Presser 1996) . Lè yo te mande yon fason, apeprè 60% nan moun ki repond rapòte ke moun yo te plis blame pou krim, men lè yo te mande nan lòt fason, apeprè 60% rapòte ke kondisyon sosyal yo te plis blame (figi 3.3). Nan lòt mo, diferans lan ti ant de kesyon sa yo ka mennen chèchè nan yon konklizyon diferan.
Anplis de sa nan estrikti a nan kesyon an, repond ka bay tou repons diferan, tou depann de mo sa yo espesifik yo itilize. Pou egzanp, nan lòd yo mezire opinyon sou priyorite gouvènman an, repond yo te li èd memwa sa yo:
"Nou ap fè fas ak anpil pwoblèm nan peyi sa a, pa youn nan yo ki ka dwe rezoud byen fasil oswa inexpensively. Mwen pral nan non kèk nan pwoblèm sa yo, epi pou chak yon sèl mwen ta renmen ou di m 'si ou panse ke nou ap depanse twòp lajan sou li, twò piti lajan, oswa sou kantite lajan an dwa. "
Apre sa, mwatye nan repond yo te mande sou "byennèt" ak mwatye te mande sou "èd pou pòv yo." Pandan ke sa yo ta ka sanble tankou de fraz diferan pou menm bagay la, yo elikite rezilta trè diferan (figi 3.4); Ameriken rapòte ke yo te pi plis sipò nan "èd bay pòv la" pase "byennèt" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
Kòm egzanp sa yo sou efè fòm efè fòme ak efè fòme montre, repons yo ke chèchè yo resevwa ka enfliyanse pa fason yo mande kesyon yo. Egzanp sa yo pafwa mennen chèchè yo mande sou "kòrèk" fason pou mande kesyon sondaj yo. Pandan ke mwen panse ke gen kèk fason byen klè yo mande yon kesyon, mwen pa panse ke se toujou yon sèl kòrèk fason. Sa se, li pa evidamman pi bon mande sou "byennèt" oswa "èd pou pòv yo"; sa yo se de diferan kesyon ki mezire de bagay diferan sou atitid repondan yo. Egzanp sa yo tou pafwa mennen chèchè pou konkli ke sondaj pa ta dwe itilize. Malerezman, pafwa pa gen okenn chwa. Olye de sa, mwen panse ke leson nan dwa trase soti nan egzanp sa yo se ke nou ta dwe konstwi kesyon nou an ak anpil atansyon epi nou pa ta dwe aksepte repons uncritically.
Pi konkrètman, sa vle di ke si w ap analize done sondaj kolekte pa yon lòt moun, asire w ke ou te li kesyonè aktyèl la. Men, si ou kreye pwòp kesyonè ou a, mwen gen kat sijesyon. Premyèman, mwen sijere ke ou li plis sou konsepsyon kesyonè (egzanp, Bradburn, Sudman, and Wansink (2004) ); gen plis sa a pase mwen te kapab dekri isit la. Dezyèmman, mwen sijere ke ou kopi-mo pou mo-kesyon soti nan sondaj-wo kalite. Pou egzanp, si ou vle mande repond sou ras / etnisite yo, ou ta ka kopye kesyon yo itilize nan sondaj gwo gouvènman an, tankou resansman an. Malgre ke sa ta ka son tankou plagiarism, kopye kesyon ankouraje nan rechèch sondaj (osi lontan ke ou site sondaj orijinal la). Si ou kopye kesyon ki soti nan sondaj kalite siperyè yo, ou ka asire ke yo te fè tès, epi ou ka konpare repons yo nan sondaj ou a repons ki soti nan kèk sondaj lòt. Twazyèmman, si ou panse kesyonè ou a ka gen efè sou kesyon enpòtan efè sou fòme oswa efè fòm kesyon, ou ta ka kouri yon eksperyans sondaj kote mwatye repond yo resevwa yon vèsyon nan kesyon an epi mwatye resevwa lòt vèsyon an (Krosnick 2011) . Finalman, mwen sijere ke ou pilòt-tès kesyon ou ak kèk moun ki soti nan popilasyon ankadreman ou; chèchè sondaj rele pwosesis sa a pre-tès (Presser et al. 2004) . Eksperyans mwen se ke pre-tès sondaj trè itil.