3.3.2 Μέτρηση

Η μέτρηση είναι για να συμπεράνουμε τι σκέφτονται και κάνουν οι ερωτώμενοι από αυτό που λένε.

Εκτός από τα προβλήματα εκπροσώπησης, το συνολικό πλαίσιο σφάλματος της έρευνας δείχνει ότι η δεύτερη σημαντική πηγή σφαλμάτων είναι η μέτρηση : πώς κάνουμε συμπεράσματα από τις απαντήσεις που δίνουν οι ερωτώμενοι στις ερωτήσεις μας. Αποδεικνύεται ότι οι απαντήσεις που λαμβάνουμε και, συνεπώς, τα συμπεράσματα που κάνουμε, μπορούν να εξαρτώνται κριτικά - και με μερικές φορές εκπληκτικά τρόπους - ακριβώς όπως ζητάμε. Ίσως τίποτα δεν δείχνει αυτό το σημαντικό σημείο καλύτερα από ένα αστείο στο υπέροχο βιβλίο Ζητώντας Ερωτήσεις από τους Norman Bradburn, Seymour Sudman και Brian Wansink (2004) :

Δύο ιερείς, ένας Δομινικανή και Ιησουιτών, συζητάμε αν είναι αμαρτία να καπνίζουν και να προσεύχονται ταυτόχρονα. Μετά την αποτυχία να καταλήξει σε ένα συμπέρασμα, το καθένα πηγαίνει μακριά για να συμβουλευτείτε τις αντίστοιχες ανώτερό του. Η Δομινικανή λέει, «Τι έκανε ανώτερη Πείτε τη γνώμη σας;"

Ο Ιησουίτης απαντά, "Είπε ότι ήταν εντάξει."

"Αυτό είναι αστείο" η Δομινικανή απαντά, "επόπτης μου είπε ότι ήταν μια αμαρτία."

Ο Ιησουίτης είπε, «Τι έκανες τον ρωτήσω;" Η Δομινικανή απαντά, "τον ρώτησα αν ήταν εντάξει να καπνίζουν, ενώ προσευχόταν." "Ω", δήλωσε ο Ιησουίτης, "ρώτησα αν ήταν ΟΚ για να προσευχηθούν, ενώ το κάπνισμα."

Πέρα από αυτό το συγκεκριμένο αστείο, οι ερευνητές έχουν τεκμηριώσει πολλούς συστηματικούς τρόπους ότι αυτό που μαθαίνετε εξαρτάται από το πώς ρωτάτε. Στην πραγματικότητα, το ίδιο το θέμα στη ρίζα αυτού του αστείου έχει ένα όνομα στην ερευνητική κοινότητα των ερευνών: τα αποτελέσματα των (Kalton and Schuman 1982) . Για να δείτε πώς τα αποτελέσματα της φόρμας ερωτήσεων ενδέχεται να επηρεάσουν τις πραγματικές έρευνες, εξετάστε αυτές τις δύο ερωτήσεις ερωτήσεων ερωτήσεων πολύ παρόμοιων:

• "Πόσο συμφωνείτε με την ακόλουθη δήλωση: Τα άτομα είναι πιο φταίει από τις κοινωνικές συνθήκες για το έγκλημα και την ανομία σε αυτή τη χώρα."
• "Πόσο συμφωνείτε με την ακόλουθη δήλωση: Κοινωνικές συνθήκες είναι πιο φταίει από τα άτομα για το έγκλημα και την ανομία σε αυτή τη χώρα."

Αν και τα δύο ερωτήματα φαίνονται να μετράνε το ίδιο πράγμα, παράγουν διαφορετικά αποτελέσματα σε ένα πραγματικό πείραμα έρευνας (Schuman and Presser 1996) . Όταν ερωτήθηκαν κατά ένα τρόπο, περίπου το 60% των ερωτηθέντων ανέφερε ότι τα άτομα κατηγορούνταν περισσότερο για το έγκλημα, αλλά όταν τους ζητήθηκε το αντίστροφο, περίπου το 60% ανέφερε ότι οι κοινωνικές συνθήκες ήταν περισσότερο φταίχτες (σχήμα 3.3). Με άλλα λόγια, η μικρή διαφορά μεταξύ αυτών των δύο ερωτήσεων μπορεί να οδηγήσει τους ερευνητές σε διαφορετικό συμπέρασμα.

Σχήμα 3.3: Αποτελέσματα από ένα πείραμα έρευνας που δείχνει ότι οι ερευνητές μπορούν να πάρουν διαφορετικές απαντήσεις ανάλογα με τον τρόπο με τον οποίο έθεσαν την ερώτηση. Η πλειοψηφία των ερωτηθέντων συμφώνησε ότι τα άτομα κατηγορούνται περισσότερο από τις κοινωνικές συνθήκες για εγκληματικότητα και ανομία. Και η πλειοψηφία των ερωτηθέντων συμφώνησε με το αντίθετο: ότι οι κοινωνικές συνθήκες είναι πιο υπεύθυνες από ότι τα άτομα. Προσαρμοσμένη από τους Schuman and Presser (1996) , πίνακας 8.1.

Εκτός από τη δομή της ερώτησης, οι ερωτηθέντες μπορούν επίσης να δώσουν διαφορετικές απαντήσεις, ανάλογα με τις συγκεκριμένες λέξεις που χρησιμοποιούνται. Για παράδειγμα, προκειμένου να μετρηθούν οι απόψεις σχετικά με τις κυβερνητικές προτεραιότητες, οι ερωτηθέντες διαβάστηκαν τα ακόλουθα:

«Είμαστε αντιμέτωποι με πολλά προβλήματα σε αυτή τη χώρα, κανένα από τα οποία μπορούν να λυθούν εύκολα ή ανέξοδα. Πάω για να αναφέρουμε μερικά από αυτά τα προβλήματα, και για κάθε μία θα ήθελα να μου πείτε αν νομίζετε ότι ξοδεύουμε πάρα πολλά χρήματα για αυτό, πάρα πολύ λίγα χρήματα, ή περίπου το σωστό ποσό. "

Στη συνέχεια, οι μισοί ερωτηθέντες ρωτήθηκαν για την "ευημερία" και οι μισοί ερωτήθηκαν για "βοήθεια για τους φτωχούς". Παρόλο που αυτές μοιάζουν με δύο διαφορετικές φράσεις για το ίδιο πράγμα, έφεραν πολύ διαφορετικά αποτελέσματα (σχήμα 3.4). Οι Αμερικανοί αναφέρουν ότι υποστηρίζουν πολύ περισσότερο την "βοήθεια προς τους φτωχούς" από ό, τι η "ευημερία" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Σχήμα 3.4: Αποτελέσματα από πειράματα ερευνών που δείχνουν ότι οι ερωτηθέντες υποστηρίζουν πολύ περισσότερο την «βοήθεια προς τους φτωχούς» παρά την «ευημερία». Πρόκειται για ένα παράδειγμα διατύπωσης ερωτήσεων όπου οι απαντήσεις που λαμβάνουν οι ερευνητές εξαρτώνται από ποιες λέξεις χρησιμοποιούν τις ερωτήσεις τους. Προσαρμοσμένη από τον Huber and Paris (2013) , πίνακας A1.

Δεδομένου ότι αυτά τα παραδείγματα σχετικά με τα αποτελέσματα των ερωτήσεων και τα αποτελέσματα της διατύπωσης δείχνουν, οι απαντήσεις που λαμβάνουν οι ερευνητές μπορούν να επηρεαστούν από τον τρόπο με τον οποίο υποβάλλουν τις ερωτήσεις τους. Αυτά τα παραδείγματα οδηγούν μερικές φορές τους ερευνητές να αναρωτιούνται για τον "σωστό" τρόπο να υποβάλουν τις ερωτήσεις των ερευνών τους. Ενώ πιστεύω ότι υπάρχουν κάποιες σαφώς λανθασμένες λύσεις, δεν νομίζω ότι υπάρχει πάντα ένας μόνο σωστός τρόπος. Δηλαδή, δεν είναι προφανώς καλύτερο να ρωτάμε για "ευημερία" ή "βοήθεια για τους φτωχούς". αυτά είναι δύο διαφορετικά ερωτήματα που μετρούν δύο διαφορετικά πράγματα σχετικά με τη στάση των ερωτηθέντων. Αυτά τα παραδείγματα οδηγούν επίσης μερικές φορές τους ερευνητές στο συμπέρασμα ότι οι έρευνες δεν πρέπει να χρησιμοποιούνται. Δυστυχώς, μερικές φορές δεν υπάρχει επιλογή. Αντίθετα, νομίζω ότι το σωστό μάθημα από αυτά τα παραδείγματα είναι ότι πρέπει να κατασκευάσουμε προσεκτικά τα ερωτήματά μας και δεν πρέπει να αποδεχθούμε τις απαντήσεις χωρίς κριτική.

Πιο συγκεκριμένα, αυτό σημαίνει ότι εάν αναλύετε τα δεδομένα που συλλέγονται από κάποιον άλλο, βεβαιωθείτε ότι έχετε διαβάσει το πραγματικό ερωτηματολόγιο. Και αν δημιουργείτε το δικό σας ερωτηματολόγιο, έχω τέσσερις προτάσεις. Πρώτον, προτείνω να διαβάσετε περισσότερα για το σχεδιασμό ερωτηματολογίων (π.χ. Bradburn, Sudman, and Wansink (2004) ). υπάρχουν περισσότερα για αυτό από όσα ήμουν σε θέση να περιγράψω εδώ. Δεύτερον, προτείνω να αντιγράφετε λέξη για ερωτήσεις με λέξεις από έρευνες υψηλής ποιότητας. Για παράδειγμα, εάν θέλετε να ρωτήσετε τους ερωτηθέντες για τη φυλή / εθνότητα τους, θα μπορούσατε να αντιγράψετε τις ερωτήσεις που χρησιμοποιούνται σε κυβερνητικές έρευνες μεγάλης κλίμακας, όπως η απογραφή. Αν και αυτό μπορεί να ακούγεται σαν λογοκλοπή, οι ερωτήσεις αντιγραφής ενθαρρύνονται στην έρευνα των ερευνών (εφ 'όσον αναφέρετε την αρχική έρευνα). Εάν αντιγράφετε ερωτήσεις από έρευνες υψηλής ποιότητας, μπορείτε να είστε σίγουροι ότι έχουν δοκιμαστεί και μπορείτε να συγκρίνετε τις απαντήσεις στην έρευνα σας με τις απαντήσεις από κάποιες άλλες έρευνες. Τρίτον, αν νομίζετε ότι το ερωτηματολόγιο σας ενδέχεται να περιέχει σημαντικές συνέπειες διατύπωσης ερωτήσεων ή αποτελέσματα ερωτήσεων, θα μπορούσατε να εκτελέσετε ένα πείραμα έρευνας όπου οι μισοί από τους ερωτηθέντες λαμβάνουν μια έκδοση της ερώτησης και το μισό λαμβάνουν την άλλη έκδοση (Krosnick 2011) . Τέλος, προτείνω να δοκιμάσετε πιλοτικά τις ερωτήσεις σας με μερικούς ανθρώπους από τον πληθυσμό του πλαισίου σας. οι ερευνητές της έρευνας ονομάζουν αυτή τη διαδικασία προ-δοκιμασία (Presser et al. 2004) . Η εμπειρία μου είναι ότι η προεπεξεργασία των ερευνών είναι εξαιρετικά χρήσιμη.