Τι να διαβάσετε στη συνέχεια

• Εισαγωγή (τμήμα 3.1)

Πολλά από τα θέματα αυτού του κεφαλαίου έχουν επίσης επαναληφθεί στις πρόσφατες προεδρικές διευθύνσεις στην Αμερικανική Ένωση Έρευνας Δημόσιας Γνώμης (AAPOR), όπως αυτές του Dillman (2002) , του Newport (2011) , του Santos (2014) και του Link (2015) .

Για περισσότερες πληροφορίες σχετικά με τις διαφορές μεταξύ έρευνας έρευνας και σε βάθος συνεντεύξεις, βλ. Small (2009) . Σχετικά με τις σε βάθος συνεντεύξεις είναι μια οικογένεια προσεγγίσεων που ονομάζεται εθνογραφία. Στην εθνογραφική έρευνα, οι ερευνητές δαπανούν γενικά πολύ περισσότερο χρόνο με τους συμμετέχοντες στο φυσικό τους περιβάλλον. Για περισσότερες πληροφορίες σχετικά με τις διαφορές ανάμεσα στην εθνογραφία και τις σε βάθος συνεντεύξεις, βλ. Jerolmack and Khan (2014) . Για περισσότερα σχετικά με την ψηφιακή εθνογραφία, βλ. Pink et al. (2015) .

Η περιγραφή της ιστορίας της έρευνας σε έρευνα είναι πολύ σύντομη για να συμπεριλάβει πολλές από τις συναρπαστικές εξελίξεις που έγιναν. Για περισσότερο ιστορικό υπόβαθρο, βλέπε Smith (1976) , Converse (1987) και Igo (2008) . Για περισσότερες πληροφορίες σχετικά με την ιδέα των τριών εποχών της έρευνας, βλ. Groves (2011) και Dillman, Smyth, and Christian (2008) (που διαχωρίζει ελαφρώς τις τρεις εποχές).

Groves and Kahn (1979) προσφέρουν μια ματιά στο εσωτερικό της μετάβασης από την πρώτη στην δεύτερη εποχή στην έρευνα των ερευνών, πραγματοποιώντας μια λεπτομερή σύγκριση μεταξύ κεφαλίδας και τηλεφώνου. ( ??? ) κοιτάζουμε πίσω στην ιστορική εξέλιξη μεθόδων δειγματοληψίας τυχαίων ψηφίων.

Για περισσότερες πληροφορίες σχετικά με τον τρόπο με τον οποίο η έρευνα των ερευνών έχει αλλάξει στο παρελθόν ως απάντηση στις αλλαγές στην κοινωνία, βλ. Tourangeau (2004) , ( ??? ) και Couper (2011) .

• Ζητώντας έναντι παρατήρησης (τμήμα 3.2)

Τα δυνατά και αδύνατα σημεία της ερώτησης και παρατηρώντας έχουν συζητηθεί από τους ψυχολόγους (π.χ., Baumeister, Vohs, and Funder (2007) ) και κοινωνιολόγους (π.χ., Jerolmack and Khan (2014) ? Maynard (2014) ? Cerulo (2014) ? Vaisey (2014) ? Jerolmack and Khan (2014) ] Η διαφορά μεταξύ ζητώντας και παρατηρώντας επίσης προκύπτει στα οικονομικά, όπου οι ερευνητές μιλούν για δηλώνεται και αποκάλυψε τις προτιμήσεις για παράδειγμα, ένας ερευνητής θα μπορούσε να ζητήσει ερωτηθέντων αν προτιμούν να τρώνε παγωτό ή να πηγαίνει στο γυμναστήριο.. (δήλωσε προτιμήσεις) ή μπορεί να παρατηρήσει πόσο συχνά οι άνθρωποι τρώνε παγωτό και πηγαίνουν στο γυμναστήριο (αποκαλύψεις προτιμήσεων) Υπάρχει βαθύς σκεπτικισμός σχετικά με ορισμένους τύπους δηλωμένων προτιμήσεων σε οικονομικά δεδομένα όπως περιγράφεται στο Hausman (2012) .

Ένα κύριο θέμα από αυτές τις συζητήσεις είναι ότι η αναφερόμενη συμπεριφορά δεν είναι πάντα ακριβής. Όμως, όπως περιγράφηκε στο κεφάλαιο 2, οι μεγάλες πηγές δεδομένων μπορεί να μην είναι ακριβείς, μπορεί να μην συλλέγονται σε δείγμα ενδιαφέροντος και μπορεί να μην είναι προσιτές σε ερευνητές. Έτσι, νομίζω ότι, σε ορισμένες περιπτώσεις, η αναφερθείσα συμπεριφορά μπορεί να είναι χρήσιμη. Περαιτέρω, ένα δεύτερο κύριο θέμα από αυτές τις συζητήσεις είναι ότι οι αναφορές για τα συναισθήματα, τις γνώσεις, τις προσδοκίες και τις απόψεις δεν είναι πάντοτε ακριβείς. Αλλά αν οι ερευνητές χρειάζονται πληροφορίες για αυτές τις εσωτερικές καταστάσεις - είτε για να εξηγήσουν κάποια συμπεριφορά είτε για να εξηγηθούν - τότε η ερώτηση μπορεί να είναι κατάλληλη. Φυσικά, η μάθηση για τα εσωτερικά κράτη θέτοντας ερωτήσεις μπορεί να είναι προβληματική επειδή μερικές φορές οι ίδιοι οι ερωτηθέντες δεν γνωρίζουν τα εσωτερικά τους κράτη (Nisbett and Wilson 1977) .

• Συνολικό σφάλμα έρευνας (τμήμα 3.3)

Το Κεφάλαιο 1 του Groves (2004) κάνει μια εξαιρετική δουλειά που συμβιβάζει την περιστασιακά ασυνεπή ορολογία που χρησιμοποιούν οι ερευνητές της έρευνας για να περιγράψουν το συνολικό πλαίσιο σφάλματος της έρευνας. Για μια επεξεργασία βιβλίου του συνολικού πλαισίου σφάλματος της έρευνας, βλ. Groves et al. (2009) , και για μια ιστορική επισκόπηση, βλ. Groves and Lyberg (2010) .

Η ιδέα της αποσύνθεσης των σφαλμάτων στη μεροληψία και τη διακύμανση εμφανίζεται επίσης στη μηχανική μάθηση. βλέπε για παράδειγμα το τμήμα 7.3 των Hastie, Tibshirani, and Friedman (2009) . Αυτό συχνά οδηγεί τους ερευνητές να μιλάνε για ένα εμπόριο "μεροληψίας-διακύμανσης".

Όσον αφορά την εκπροσώπηση, μια μεγάλη εισαγωγή στα θέματα της μη απόκρισης και της απόρριψης απόκρισης είναι η έκθεση του Εθνικού Συμβουλίου Έρευνας Nonresponse στις Κοινωνικές Επιστήμες Έρευνες: Έρευνα για το (2013) . Μια άλλη χρήσιμη επισκόπηση παρέχει ο Groves (2006) . Επίσης, έχουν δημοσιευθεί ολόκληρα ειδικά τεύχη της Εφημερίδας των Επίσημων Στατιστικών , της Τριμηνιαίας Δημόσιας Πρότασης και των Χρονικών της Αμερικανικής Ακαδημίας Πολιτικών και Κοινωνικών Επιστημών σχετικά με το θέμα της μη απάντησης. Τέλος, στην πραγματικότητα υπάρχουν πολλοί διαφορετικοί τρόποι υπολογισμού του ποσοστού απάντησης. αυτές οι προσεγγίσεις περιγράφονται λεπτομερώς σε μια έκθεση της αμερικανικής ένωσης ερευνητών κοινής γνώμης (AAPOR) ( ??? ) .

Για περισσότερες πληροφορίες σχετικά με τη δημοσκόπηση του Λογοτεχνικού Cahalan (1989) του 1936, βλ. Bryson (1976) , Squire (1988) , Cahalan (1989) και Lusinchi (2012) . Για μια άλλη συζήτηση αυτής της δημοσκόπησης ως προειδοποίηση παραβολής κατά τυχαίας συλλογής δεδομένων, βλ. Gayo-Avello (2011) . Το 1936, ο George Gallup χρησιμοποίησε μια πιο εξελιγμένη μορφή δειγματοληψίας και ήταν σε θέση να παράγει ακριβέστερες εκτιμήσεις με ένα πολύ μικρότερο δείγμα. Η επιτυχία του Gallup στο λογοτεχνικό περιοδικό ήταν ένα ορόσημο στην ανάπτυξη της έρευνας έρευνας όπως περιγράφεται στο κεφάλαιο 3 του @ converse_survey_1987. κεφάλαιο 4 του Ohmer (2006) . και το κεφάλαιο 3 του @ igo_averaged_2008.

Από την άποψη της μέτρησης, ένας μεγάλος πρώτος πόρος για το σχεδιασμό ερωτηματολογίων είναι οι Bradburn, Sudman, and Wansink (2004) . Για πιο εξελιγμένες θεραπείες, βλ. Schuman and Presser (1996) , η οποία επικεντρώνεται ειδικά σε ερωτήσεις στάσης, και οι Saris and Gallhofer (2014) , οι οποίες είναι γενικότερες. Μια ελαφρώς διαφορετική προσέγγιση στη μέτρηση λαμβάνεται στην ψυχομετρία, όπως περιγράφεται στο ( ??? ) . Περισσότερες πληροφορίες σχετικά με τη δοκιμασία είναι διαθέσιμες στο Presser and Blair (1994) , Presser et al. (2004) και το κεφάλαιο 8 των Groves et al. (2009) . Για περισσότερα σχετικά με τα πειράματα της έρευνας, βλ. Mutz (2011) .

Από την άποψη του κόστους, η κλασική επεξεργασία βιβλίων του συμβιβασμού μεταξύ κόστους έρευνας και σφαλμάτων στην έρευνα είναι ο Groves (2004) .

• Ποιος να ρωτήσει (τμήμα 3.4)

Δύο κλασικές θεραπείες με βάση το μήκος Särndal, Swensson, and Wretman (2003) μήκους της τυποποιημένης δειγματοληψίας και εκτίμησης πιθανότητας είναι οι Lohr (2009) (περισσότερο εισαγωγικό) και οι Särndal, Swensson, and Wretman (2003) (πιο προηγμένες). Μια κλασική επεξεργασία βιβλίων για τη μετα-στρωματοποίηση και τις σχετικές μεθόδους είναι οι Särndal and Lundström (2005) . Σε ορισμένες ρυθμίσεις ψηφιακής εποχής, οι ερευνητές γνωρίζουν αρκετά για τους μη ανταποκριτές, κάτι που δεν ήταν συχνά αληθές στο παρελθόν. Διαφορετικές μορφές προσαρμογής μη ανταποκρίσεων είναι δυνατές όταν οι ερευνητές έχουν πληροφορίες σχετικά με τους μη ανταποκρινόμενους, όπως περιγράφονται από τους Kalton and Flores-Cervantes (2003) και Smith (2011) .

Η μελέτη Xbox από τους W. Wang et al. (2015) χρησιμοποιεί μια τεχνική που ονομάζεται πολυεπίπεδη παλινδρόμηση και μετά τη στρωματοποίηση ("ο κ. Π."), Που επιτρέπει στους ερευνητές να εκτιμούν τα ομαδικά μέσα ακόμη και όταν υπάρχουν πολλές, πολλές ομάδες. Παρόλο που υπάρχει κάποια συζήτηση σχετικά με την ποιότητα των εκτιμήσεων από αυτή την τεχνική, φαίνεται να είναι μια ελπιδοφόρα περιοχή για να εξερευνήσετε. Η τεχνική αυτή χρησιμοποιήθηκε για πρώτη φορά στο Park, Gelman, and Bafumi (2004) και υπήρξε μεταγενέστερη χρήση και συζήτηση (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Για περισσότερες πληροφορίες σχετικά με τη σχέση μεταξύ μεμονωμένων βαρών και βαρών ομάδων, βλ. Gelman (2007) .

Για άλλες προσεγγίσεις για τη στάθμιση των ερευνών ιστού, βλ. Schonlau et al. (2009) , Bethlehem (2010) , και Valliant and Dever (2011) . Οι διαδικτυακοί πίνακες μπορούν να χρησιμοποιήσουν δειγματοληψία πιθανότητας ή δειγματοληψία μη πιθανότητας. Για περισσότερα σχετικά με τους διαδικτυακούς πίνακες, βλ. Callegaro et al. (2014) .

Μερικές φορές, οι ερευνητές έχουν διαπιστώσει ότι τα δείγματα πιθανότητας και τα δείγματα μη πιθανότητας αποδίδουν εκτιμήσεις παρόμοιας ποιότητας (Ansolabehere and Schaffner 2014) , αλλά άλλες συγκρίσεις έχουν διαπιστώσει ότι τα δείγματα μη πιθανότητας επιδεινώνονται (Malhotra and Krosnick 2007; Yeager et al. 2011) . Ένας πιθανός λόγος για αυτές τις διαφορές είναι ότι τα δείγματα μη πιθανότητας έχουν βελτιωθεί με την πάροδο του χρόνου. Για μια πιο απαισιόδοξη άποψη των μεθόδων δειγματοληψίας μη πιθανότητας, δείτε την ομάδα εργασίας AAPOR για τη δειγματοληψία μη πιθανότητας (Baker et al. 2013) και συνιστώ επίσης να διαβάσετε το σχόλιο που ακολουθεί τη συνοπτική έκθεση.

• Πώς να ρωτήσετε (ενότητα 3.5)

Conrad and Schober (2008) είναι ένας επιμελημένος τόμος με τίτλο « Οραματίζοντας τη Συνέντευξη για το Έλλον του μέλλοντος » και προσφέρει μια ποικιλία απόψεις για το μέλλον των ερωτήσεων. Couper (2011) ασχολείται με παρόμοια θέματα, και οι Schober et al. (2015) ένα καλό παράδειγμα του τρόπου με τον οποίο οι μέθοδοι συλλογής δεδομένων που προσαρμόζονται σε μια νέα ρύθμιση μπορούν να οδηγήσουν σε δεδομένα υψηλότερης ποιότητας. Schober and Conrad (2015) προσφέρουν ένα γενικότερο επιχείρημα σχετικά με τη συνέχιση της προσαρμογής της διαδικασίας έρευνας έρευνας ώστε να ταιριάζει με τις αλλαγές στην κοινωνία.

Tourangeau and Yan (2007) αναλύουν τα ζητήματα κοινωνικής επιθυμητότητας σε ευαίσθητες ερωτήσεις και οι Lind et al. (2013) προσφέρουν ορισμένους πιθανούς λόγους για τους οποίους οι άνθρωποι ενδέχεται να αποκαλύψουν πιο ευαίσθητες πληροφορίες σε μια συνέντευξη διαχειριζόμενη από υπολογιστή. Για περισσότερες πληροφορίες σχετικά με το ρόλο των συνεντευξιαζόντων ανθρώπων στην αύξηση των ποσοστών συμμετοχής στις έρευνες, βλέπε Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) και Schaeffer et al. (2013) . Για περισσότερα σχετικά με τις έρευνες μικτής λειτουργίας, βλ. Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) προσφέρουν μια μακροπρόθεσμη επεξεργασία της οικολογικής στιγμιαίας αξιολόγησης και των σχετικών μεθόδων.

Για περισσότερες συμβουλές σχετικά με τη διεξαγωγή των ερευνών μια απολαυστική και πολύτιμη εμπειρία για τους συμμετέχοντες, δείτε τις εργασίες για τη μέθοδο προσαρμογής σχεδιασμού (Dillman, Smyth, and Christian 2014) . Για ένα άλλο ενδιαφέρον παράδειγμα χρήσης των εφαρμογών Facebook για κοινωνικές επιστήμες, βλ. Bail (2015) .

• Έρευνες που συνδέονται με μεγάλες πηγές δεδομένων (ενότητα 3.6)

Judson (2007) περιγράφει τη διαδικασία συνδυασμού ερευνών και διοικητικών δεδομένων ως "πληροφόρησης" και εξετάζει μερικά πλεονεκτήματα αυτής της προσέγγισης, καθώς και μερικά παραδείγματα.

Όσον αφορά την εμπλουτισμένη ερώτηση, υπήρξαν πολλές προηγούμενες προσπάθειες επικύρωσης της ψηφοφορίας. Για μια επισκόπηση αυτής της βιβλιογραφίας, βλ. Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , και Berent, Krosnick, and Lupia (2016) . Βλέπε Berent, Krosnick, and Lupia (2016) για μια πιο σκεπτικιστική άποψη των αποτελεσμάτων που παρουσιάζονται στο Ansolabehere and Hersh (2012) .

Είναι σημαντικό να σημειωθεί ότι παρόλο που οι Ansolabehere και Hersh ενθαρρύνθηκαν από την ποιότητα των δεδομένων από τους Καταλανούς, άλλες εκτιμήσεις των εμπορικών πωλητών ήταν λιγότερο ενθουσιώδεις. Pasek et al. (2014) βρήκαν κακή ποιότητα όταν τα δεδομένα από μια έρευνα συγκρίθηκαν με ένα αρχείο καταναλωτών από το Marketing Systems Group (το οποίο συγχώνευσε τα στοιχεία από τρεις προμηθευτές: Acxiom, Experian και InfoUSA). Δηλαδή, το αρχείο δεδομένων δεν ταιριάζει με τις απαντήσεις των ερευνών που οι ερευνητές αναμένουν να είναι σωστές, το αρχείο καταναλωτών είχε ελλείποντα στοιχεία για μεγάλο αριθμό ερωτήσεων και το πρότυπο δεδομένων που λείπει ήταν συσχετισμένο με την αναφερόμενη τιμή έρευνας (με άλλα λόγια, τα δεδομένα ήταν συστηματικά, όχι τυχαία).

Για περισσότερες Sakshaug and Kreuter (2012) μεταξύ των ερευνών και των διοικητικών δεδομένων, βλ. Sakshaug and Kreuter (2012) και Schnell (2013) . Για περισσότερες συνδέσεις ρεκόρ γενικά, βλέπε Dunn (1946) και Fellegi and Sunter (1969) (ιστορικός) και Larsen and Winkler (2014) (μοντέρνοι). Παρόμοιες προσεγγίσεις αναπτύχθηκαν επίσης στην επιστήμη των υπολογιστών με ονόματα όπως η deduplication των δεδομένων, η ταυτοποίηση των περιπτώσεων, η αντιστοίχιση ονομάτων, η ανίχνευση διπλών (Elmagarmid, Ipeirotis, and Verykios 2007) ανίχνευση διπλών εγγραφών (Elmagarmid, Ipeirotis, and Verykios 2007) . Υπάρχουν επίσης προσεγγίσεις διατήρησης της ιδιωτικής ζωής για τη σύνδεση των εγγραφών που δεν απαιτούν τη διαβίβαση πληροφοριών προσωπικής ταυτοποίησης (Schnell 2013) . Οι ερευνητές στο Facebook ανέπτυξαν μια διαδικασία που συνδέει πιθανώς τα αρχεία τους με τη συμπεριφορά των ψηφοφόρων (Jones et al. 2013) . αυτή η σύνδεση έγινε για να αξιολογήσει ένα πείραμα που θα σας πω για το κεφάλαιο 4 (Bond et al. 2012) . Για περισσότερες πληροφορίες σχετικά με τη λήψη συγκατάθεσης για τη σύνδεση εγγραφών, βλ. Sakshaug et al. (2012) .

Ένα άλλο παράδειγμα σύνδεσης μιας μεγάλης κλίμακας κοινωνικής έρευνας με τα διοικητικά αρχεία της κυβέρνησης προέρχεται από την Έρευνα Υγείας και Συνταξιοδότησης και τη Διοίκηση Κοινωνικής Ασφάλισης. Για περισσότερες πληροφορίες σχετικά με τη μελέτη αυτή, συμπεριλαμβανομένων πληροφοριών σχετικά με τη διαδικασία χορήγησης άδειας, βλ. Olson (1996, 1999) .

Η διαδικασία συνδυασμού πολλών πηγών διοικητικών αρχείων σε ένα κύριο αρχείο δεδομένων - η διαδικασία που χρησιμοποιεί ο καταλύτης - είναι κοινή στις στατιστικές υπηρεσίες ορισμένων εθνικών κυβερνήσεων. Δύο ερευνητές από τη Στατιστική Σουηδία έχουν γράψει ένα λεπτομερές βιβλίο σχετικά με το θέμα (Wallgren and Wallgren 2007) . Για παράδειγμα αυτής της προσέγγισης σε ένα μόνο νομό στις Ηνωμένες Πολιτείες (Olmstead County, Minnesota, σπίτι της κλινικής Mayo), βλέπε Sauver et al. (2011) . Για περισσότερα σχετικά με τα σφάλματα που μπορούν να εμφανιστούν στις διοικητικές εγγραφές, βλ. Groen (2012) .

Ένας άλλος τρόπος με τον οποίο οι ερευνητές μπορούν να χρησιμοποιήσουν μεγάλες πηγές δεδομένων στην έρευνα των ερευνών είναι ένα πλαίσιο δειγματοληψίας για άτομα με συγκεκριμένα χαρακτηριστικά. Δυστυχώς, η προσέγγιση αυτή μπορεί να εγείρει ερωτήματα σχετικά με την προστασία της ιδιωτικής ζωής (Beskow, Sandler, and Weinberger 2006) .

Όσον αφορά την ενισχυμένη ερώτηση, αυτή η προσέγγιση δεν είναι τόσο νέα όσο φαίνεται από το πώς το έχω περιγράψει. Έχει βαθιές συνδέσεις με τρεις μεγάλες περιοχές στα στατιστικά στοιχεία: βασισμένη στο μοντέλο μετά τη στρωματοποίηση (Little 1993) , καταλογισμός (Rubin 2004) και εκτίμηση μικρών περιοχών (Rao and Molina 2015) . Επίσης, σχετίζεται με τη χρήση υποκατάστατων μεταβλητών στην ιατρική έρευνα (Pepe 1992) .

Οι εκτιμήσεις κόστους και χρόνου στο Blumenstock, Cadamuro, and On (2015) αφορούν περισσότερο το μεταβλητό κόστος - το κόστος μιας πρόσθετης έρευνας - και δεν περιλαμβάνουν σταθερό κόστος όπως το κόστος καθαρισμού και επεξεργασίας των δεδομένων κλήσης. Γενικά, η ενισχυμένη ερώτηση θα έχει πιθανώς υψηλό πάγιο κόστος και χαμηλό μεταβλητό κόστος παρόμοιο με εκείνο των ψηφιακών πειραμάτων (βλ. Κεφάλαιο 4). Για περισσότερες πληροφορίες σχετικά με τις έρευνες που βασίζονται σε κινητά τηλέφωνα στις αναπτυσσόμενες χώρες, βλ. Dabalen et al. (2016) .

Για ιδέες για το πώς να κάνετε ενισχυμένη ερώτηση καλύτερα, θα πρότεινα να μάθω περισσότερα για τον πολλαπλό καταλογισμό (Rubin 2004) . Επίσης, εάν οι ερευνητές πραγματοποιούν ενισχυμένες προσεγγίσεις για τον υπολογισμό των συγκεντρωτικών μεγεθών και όχι για τα χαρακτηριστικά ατομικών επιπέδων, τότε οι προσεγγίσεις στο King and Lu (2008) και Hopkins and King (2010) μπορεί να είναι χρήσιμες. Τέλος, για περισσότερες πληροφορίες σχετικά με τις προσεγγίσεις μηχανικής μάθησης στα Blumenstock, Cadamuro, and On (2015) , βλ. James et al. (2013) (περισσότερο εισαγωγικό) ή Hastie, Tibshirani, and Friedman (2009) (πιο προηγμένο).

Ένα δεοντολογικό ζήτημα σχετικά με την ενισχυμένη ερώτηση είναι ότι μπορεί να χρησιμοποιηθεί για να εξαχθούν ευαίσθητα χαρακτηριστικά γνωρίσματα που οι άνθρωποι δεν θα επιλέξουν να αποκαλύψουν σε μια έρευνα όπως περιγράφεται στο Kosinski, Stillwell, and Graepel (2013) .