3.3.2測定

測定は、あなたの回答者が何を言っていると思い、何をするかを推測することです。

表現の問題に加えて、全体的な調査のエラーの枠組みは、第2の主要な誤差要因が測定値であることを示しています。回答者が私たちの質問に与える回答からどのように推論するか。私たちが受け取った回答、それゆえの推論は、批判的に、時には驚くべきことに、私たちが求めている正確な方法に依存することが判明しました。ノーマン・ブラッドバーン、シーモア・サッドマン、ブライアン・ワンシンク(2004)の素晴らしい質問集 「 質問を聞く」のジョークよりも、

二つの司祭、ドミニカとイエズス会は、吸うと同時に祈る罪であるかどうかを検討しています。結論に到達するために失敗した後、それぞれが自分のそれぞれの優れたに相談することを消灯します。ドミニカは、「あなたの優れた発言をしたか？」、と言います

イエズス会が応答する、 "彼は、それは大丈夫だったと述べました。"

ドミニカ共和国の回答「それはおかしい」、「私の上司はそれが罪であると言いました。 "

イエズス会は、 "あなたは彼に何を尋ねたのですか？"ドミニカは、返信、言った「祈っている間、喫煙することが大丈夫だった場合、私は彼に尋ねた。「喫煙しながら祈るようにOKだった場合、「ああ」イエズス会士は言った、 "私は尋ねました。"

この特定の冗談以外にも、調査研究者は、あなたがどのように尋ねるかによって学ぶことが多くの体系的な方法を文書化しています。実際、このジョークの根底にある問題は、調査研究コミュニティでは質問形式の影響という名前があります (Kalton and Schuman 1982) 。質問形式の影響が実際の調査にどのように影響するかを確認するには、次の2つの非常によく似た調査の質問を検討してください。

• 「どのくらいの次の文に同意しない： 人はこの国で犯罪と無法状態のための社会的条件よりも非難する方です。」
• 「どのくらいの次の文に同意するか： 社会の条件はこの国で犯罪と無法状態のため、個人よりも非難する方です。」

両方の質問が同じことを測定するように見えますが、実際の調査実験では異なる結果が生じました(Schuman and Presser 1996) 。一方的に尋ねられたとき、約60％の回答者が、 個人が犯罪の原因となっていると答えたが、反対に聞かれると、約60％が社会的条件がより重いと報告した（図3.3）。言い換えれば、これら2つの質問の小さな違いは、研究者を別の結論に導く可能性があります。

図3.3：研究者がどのように質問したかに応じて異なる回答を得ることができることを示す調査実験の結果。大部分の回答者は、個人が犯罪や無法について社会的条件よりも責任を負うことに同意しています。また、回答者の大多数は、社会条件が個人よりも責任があるという反対に同意しました。 Schuman and Presser (1996) 、表8.1から適応される。

質問の構造に加えて、回答者は使用される特定の言葉に応じて異なる回答を与えることもできます。例えば、政府の優先事項に関する意見を測定するために、回答者は次のようなプロンプトを読んだ。

「私たちは、簡単または安価に解決することができるいずれもこの国では多くの問題に直面しています。私はこれらの問題のいくつかに名前を付けるために行く、と私はあなたが、あなたは私たちがそれにあまりにも多くのお金を費やしていると思うかどうか、あまりにも少しのお金を私に教えたいのですが、それぞれ1のため、または適切な量についてのよ。」

次に、回答者の半数が「福祉」について尋ねられ、半数が「貧困者のための援助」について質問された。これらは同じことに対して2つの異なるフレーズのように見えるかもしれないが、非常に異なる結果を引き出した（図3.4）。アメリカ人は「福祉」 (Smith 1987; Rasinski 1989; Huber and Paris 2013)よりも「貧困者への援助」をより支持していると報告している。

図3.4：回答者が「貧困への援助」を「福祉」よりもはるかに支持していることを示す調査実験の結果。これは、研究者が受け取る回答が、彼らの質問。 Huber and Paris (2013) 、表A1から適応。

質問形式の効果や言い回しの効果に関するこれらの例が示すように、研究者が受け取る回答は、質問の仕方によって影響を受けることがあります。これらの例は、時には研究者が調査の質問に「正しい」方法を疑問に思うように導きます。質問をするには明らかに間違った方法がいくつかあると思いますが、常に正しい方法が1つあるとは思いません。つまり、「福祉」または「貧困者のための援助」について尋ねることは明らかに賢明ではありません。これらは、回答者の態度について2つの異なることを測定する2つの異なる質問である。これらの例は、研究者に調査を使用すべきではないと結論づける場合もある。残念ながら、時には選択肢がありません。代わりに、私は、これらの例から抜き出すための正しい教訓は、質問を慎重に構築し、無回答で回答を受け入れるべきでないということです。

最も具体的には、これは、他の人が収集した調査データを分析する場合は、実際のアンケートを読んでいることを確認することを意味します。あなた自身のアンケートを作成しているなら、4つの提案があります。まず、アンケートのデザイン（ Bradburn, Sudman, and Wansink (2004) ）の詳細を読むことをお勧めします。私がここで説明することができた以上のものがあります。第二に、私は、あなたが高品質の調査から単語質問をコピーすることをお勧めします。たとえば、回答者に人種や民族について質問する場合は、国勢調査な​​どの大規模な政府調査で使用されている質問をコピーすることができます。これは盗作のように聞こえるかもしれませんが、調査の調査では質問をコピーすることをお勧めします（元の調査を引用している限り）。高品質のアンケートから質問をコピーする場合は、テスト済みであることを確認して、アンケートへの回答を他のアンケートの回答と比較することができます。第3に、あなたのアンケートに重要な質問文句効果または質問書式効果が含まれていると思われる場合は、半分の回答者が質問の1つのバージョンを受け取り、半分がもう1つのバージョンを受け取る調査実験を実行できます(Krosnick 2011) 。最後に、私はあなたのフレームの人口からいくつかの人々とあなたの質問をパイロットテストすることをお勧めします。調査の研究者はこのプロセスを事前テストと呼んでいる(Presser et al. 2004) 。私の経験では、事前調査は非常に便利です。