Τι να διαβάσετε στη συνέχεια

• Εισαγωγή (τμήμα 4.1)

Οι ερωτήσεις σχετικά με την αιτιότητα στην κοινωνική έρευνα είναι συχνά σύνθετες και περίπλοκες. Για μια θεμελιώδη προσέγγιση της αιτιότητας που βασίζεται σε αιτιώδεις γραφημάτων, βλ. Pearl (2009) , και για μια θεμελιώδη προσέγγιση που βασίζεται σε δυνητικά αποτελέσματα, βλ. Imbens and Rubin (2015) . Για μια σύγκριση μεταξύ αυτών των δύο προσεγγίσεων, βλ. Morgan and Winship (2014) . Για μια τυπική προσέγγιση για τον ορισμό ενός συγχρονιστή, βλ. VanderWeele and Shpitser (2013) .

Σε αυτό το κεφάλαιο, δημιούργησα κάτι που φαινόταν σαν μια φωτεινή γραμμή μεταξύ της ικανότητάς μας να κάνουμε αιτιώδεις εκτιμήσεις από πειραματικά και μη πειραματικά δεδομένα. Ωστόσο, νομίζω ότι, στην πραγματικότητα, η διάκριση είναι πιο θολή. Για παράδειγμα, όλοι αποδέχονται ότι το κάπνισμα προκαλεί καρκίνο, παρόλο που δεν έχει ποτέ γίνει τυχαίο ελεγχόμενο πείραμα που αναγκάζει τους ανθρώπους να καπνίζουν. Για την εξαιρετική θεραπείες βιβλίο-μήκους για την πραγματοποίηση εκτιμήσεων αιτιώδη από μη-πειραματικά δεδομένα δείτε Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , και Dunning (2012) .

Τα κεφάλαια 1 και 2 των Freedman, Pisani, and Purves (2007) προσφέρουν σαφή εισαγωγή στις διαφορές μεταξύ πειραμάτων, ελεγχόμενων πειραμάτων και τυχαίων ελεγχόμενων πειραμάτων.

Manzi (2012) παρέχει μια συναρπαστική και ευανάγνωστη εισαγωγή στις φιλοσοφικές και στατιστικές βάσεις των τυχαιοποιημένων ελεγχόμενων πειραμάτων. Παρέχει επίσης ενδιαφέρον παραδείγματα πραγματικού κόσμου για τη δύναμη του πειραματισμού στην επιχείρηση. Issenberg (2012) παρέχει μια συναρπαστική εισαγωγή στη χρήση του πειραματισμού σε πολιτικές εκστρατείες.

• Τι είναι τα πειράματα; (τμήμα 4.2)

Box, Hunter, and Hunter (2005) , @casella_statistical_2008 και Athey and Imbens (2016b) παρέχουν καλές εισαγωγές στις στατιστικές πτυχές του πειραματικού σχεδιασμού και ανάλυσης. Επιπλέον, υπάρχουν εξαιρετικές θεραπείες της χρήσης των πειραμάτων σε πολλούς διαφορετικούς τομείς: οικονομία (Bardsley et al. 2009) , Κοινωνιολογία (Willer and Walker 2007; Jackson and Cox 2013) , η ψυχολογία (Aronson et al. 1989) , Πολιτικές επιστήμες (Morton and Williams 2010) και την κοινωνική πολιτική (Glennerster and Takavarasha 2013) .

Η σημασία της πρόσληψης των συμμετεχόντων (π.χ. δειγματοληψία) συχνά υποεκτιμάται στην πειραματική έρευνα. Ωστόσο, εάν η επίδραση της θεραπείας είναι ετερογενής στον πληθυσμό, τότε η δειγματοληψία είναι κρίσιμη. Longford (1999) κάνει αυτό το σημείο σαφώς όταν υποστηρίζει τους ερευνητές που σκέφτονται τα πειράματα ως δημογραφική έρευνα με τυχαία δειγματοληψία.

• Δύο διαστάσεις πειραμάτων: εργαστηριακό και αναλογικό-ψηφιακό (ενότητα 4.3)

Έχω προτείνει ότι υπάρχει μια συνέχεια μεταξύ εργαστηριακών και πειραματικών πεδίων και άλλοι ερευνητές πρότειναν λεπτομερέστερες τυπολογίες, ιδιαίτερα αυτές που διαχωρίζουν τις διάφορες μορφές πειραμάτων πεδίου (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Ορισμένα έγγραφα έχουν συγκρίνει τα εργαστηριακά και πεδία πειράματα στην αφηρημένη (Falk and Heckman 2009; Cialdini 2009) και από την άποψη των αποτελεσμάτων συγκεκριμένων πειραμάτων στην πολιτική επιστήμη (Coppock and Green 2015) , των οικονομικών (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) και την ψυχολογία (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) προσφέρουν ένα ωραίο ερευνητικό σχέδιο για τη σύγκριση αποτελεσμάτων από πειράματα εργαστηρίου και πεδίου. Parigi, Santana, and Cook (2017) περιγράφουν πώς τα επιγραμμικά πειράματα πεδίου μπορούν να συνδυάσουν μερικά από τα χαρακτηριστικά των πειραμάτων εργαστηρίου και πεδίου.

Οι ανησυχίες σχετικά με τους συμμετέχοντες που αλλάζουν τη συμπεριφορά τους επειδή γνωρίζουν ότι παρακολουθούνται στενά αποκαλούνται ενίοτε φαινόμενα ζήτησης και έχουν μελετηθεί στην ψυχολογία (Orne 1962) και στην οικονομία (Zizzo 2010) . Παρόλο που σχετίζονται κυρίως με εργαστηριακά πειράματα, τα ίδια αυτά προβλήματα μπορούν να προκαλέσουν προβλήματα και για πειράματα πεδίου. Στην πραγματικότητα, τα φαινόμενα ζήτησης ονομάζονται συχνά Hawthorne effects , ένας όρος που προέρχεται από τα περίφημα πειράματα φωτισμού που ξεκίνησαν το 1924 στα έργα Hawthorne της Western Electric Company (Adair 1984; Levitt and List 2011) . Τόσο οι επιπτώσεις της ζήτησης όσο και τα αποτελέσματα του Hawthorne σχετίζονται στενά με την ιδέα της αντιδραστικής μέτρησης που αναλύεται στο κεφάλαιο 2 (βλέπε επίσης Webb et al. (1966) ).

Τα πειράματα πεδίου έχουν μακρά ιστορία στα οικονομικά (Levitt and List 2009) , η πολιτική επιστήμη (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , η ψυχολογία (Shadish 2002) και η δημόσια πολιτική (Shadish and Cook 2009) . Ένας τομέας της κοινωνικής επιστήμης όπου τα πειράματα στο πεδίο έγιναν γρήγορα εξέχουσες είναι η διεθνής ανάπτυξη. Για μια θετική ανασκόπηση αυτού του έργου στα οικονομικά βλέπε Banerjee and Duflo (2009) , και για μια κριτική αξιολόγηση βλ. Deaton (2010) . Για μια ανασκόπηση αυτού του έργου στην πολιτική επιστήμη βλέπε Humphreys and Weinstein (2009) . Τέλος, διερευνήθηκαν οι δεοντολογικές προκλήσεις που προέκυψαν από πειράματα πεδίου στο πλαίσιο της πολιτικής επιστήμης (Humphreys 2015; Desposato 2016b) και της οικονομικής ανάπτυξης (Baele 2013) .

Σε αυτό το τμήμα, πρότεινα ότι οι πληροφορίες πριν από τη θεραπεία μπορούν να χρησιμοποιηθούν για τη βελτίωση της ακρίβειας των εκτιμώμενων αποτελεσμάτων της θεραπείας, αλλά υπάρχει κάποια συζήτηση σχετικά με αυτήν την προσέγγιση. βλέπε Freedman (2008) , W. Lin (2013) , Berk et al. (2013) και Bloniarz et al. (2016) για περισσότερες πληροφορίες.

Τέλος, υπάρχουν δύο άλλοι τύποι πειραμάτων που εκτελούνται από κοινωνικούς επιστήμονες που δεν ταιριάζουν απόλυτα στην εργαστηριακή διάσταση: πειράματα έρευνας και κοινωνικά πειράματα. Τα πειράματα των ερευνών είναι πειράματα που χρησιμοποιούν την υποδομή των υφιστάμενων ερευνών και συγκρίνονται οι απαντήσεις σε εναλλακτικές εκδόσεις των ίδιων ερωτημάτων (ορισμένα πειράματα έρευνας παρουσιάζονται στο Κεφάλαιο 3). για περισσότερα σχετικά με τα πειράματα της έρευνας, βλ. Mutz (2011) . Τα κοινωνικά πειράματα είναι πειράματα όπου η θεραπεία είναι κάποια κοινωνική πολιτική που μπορεί να εφαρμοστεί μόνο από μια κυβέρνηση. Τα κοινωνικά πειράματα συνδέονται στενά με την αξιολόγηση του προγράμματος. Για περισσότερα σχετικά με τα πειράματα πολιτικής, βλ. Heckman and Smith (1995) , Orr (1998) και @ glennerster_running_2013.

• Πέρα από τα απλά πειράματα (ενότητα 4.4)

Έχω επιλέξει να επικεντρωθώ σε τρεις έννοιες: την εγκυρότητα, την ετερογένεια των επιδράσεων της θεραπείας και τους μηχανισμούς. Αυτές οι έννοιες έχουν διαφορετικά ονόματα σε διαφορετικά πεδία. Για παράδειγμα, οι ψυχολόγοι τείνουν να κινούνται πέρα ​​από τα απλά πειράματα επικεντρώνοντας σε διαμεσολαβητές και συντονιστές (Baron and Kenny 1986) . Η ιδέα των διαμεσολαβητών συλλαμβάνεται από αυτό που ονομάζω μηχανισμούς και η ιδέα των συντονιστών συλλαμβάνεται από αυτό που αποκαλώ εξωτερική ισχύ (π.χ. τα αποτελέσματα του πειράματος θα ήταν διαφορετικά εάν εκτελούσαν διαφορετικές καταστάσεις) και την ετερογένεια των επιδράσεων της θεραπείας π.χ., τα αποτελέσματα είναι μεγαλύτερα για μερικούς ανθρώπους από ό, τι για άλλους).

Το πείραμα των Schultz et al. (2007) δείχνει πώς μπορούν να χρησιμοποιηθούν κοινωνικές θεωρίες για τον σχεδιασμό αποτελεσματικών παρεμβάσεων. Για ένα γενικότερο επιχείρημα σχετικά με το ρόλο της θεωρίας στο σχεδιασμό αποτελεσματικών παρεμβάσεων, βλ. Walton (2014) .

• Ισχύς (τμήμα 4.4.1)

Οι έννοιες της εσωτερικής και εξωτερικής εγκυρότητας εισήχθησαν για πρώτη φορά από τον Campbell (1957) . Δείτε το Shadish, Cook, and Campbell (2001) για μια πιο λεπτομερή ιστορία και προσεκτική επεξεργασία της στατιστικής εγκυρότητας, της εσωτερικής εγκυρότητας, της εγκυρότητας της κατασκευής και της εξωτερικής εγκυρότητας.

Για μια επισκόπηση των ζητημάτων που σχετίζονται με την εγκυρότητα στατιστικών συμπερασμάτων σε πειράματα βλέπε Gerber and Green (2012) (από κοινωνική επιστήμη) και Imbens and Rubin (2015) (από στατιστική άποψη). Ορισμένα ζητήματα στατιστικής συμπεράσματος που προκύπτουν συγκεκριμένα σε ηλεκτρονικά πειράματα πεδίου περιλαμβάνουν ζητήματα όπως υπολογιστικές αποδοτικές μέθοδοι για τη δημιουργία διαστημάτων εμπιστοσύνης με εξαρτώμενα δεδομένα (Bakshy and Eckles 2013) .

Η εσωτερική εγκυρότητα μπορεί να είναι δύσκολο να εξασφαλιστεί σε πολύπλοκα πειράματα πεδίου. Βλέπε, για παράδειγμα, Gerber and Green (2000) , Imai (2005) και Gerber and Green (2005) για συζήτηση σχετικά με την εφαρμογή ενός σύνθετου πεδίου πειράματος για την ψηφοφορία. Kohavi et al. (2012) και Kohavi et al. (2013) παρέχουν μια εισαγωγή στις προκλήσεις της εγκυρότητας διαστήματος σε online πειράματα πεδίου.

Μία σημαντική απειλή για την εσωτερική εγκυρότητα είναι η πιθανότητα αποτυχίας τυχαιοποίησης. Ένας πιθανός τρόπος ανίχνευσης προβλημάτων με την τυχαιοποίηση είναι η σύγκριση των ομάδων θεραπείας και ελέγχου με παρατηρήσιμα χαρακτηριστικά. Αυτή η σύγκριση ονομάζεται έλεγχος ισορροπίας . Βλέπε Hansen and Bowers (2008) για μια στατιστική προσέγγιση για την εξισορρόπηση των ελέγχων και Mutz and Pemantle (2015) για ανησυχίες σχετικά με τους ελέγχους ισορροπίας. Για παράδειγμα, χρησιμοποιώντας τον έλεγχο ισορροπίας, το Allcott (2011) βρήκε κάποια στοιχεία ότι η τυχαιοποίηση δεν εφαρμόστηκε σωστά σε τρία από τα πειράματα Opower (βλ. Πίνακα 2, θέσεις 2, 6 και 8). Για άλλες προσεγγίσεις, βλ. Κεφάλαιο 21 των Imbens and Rubin (2015) .

Άλλες σημαντικές ανησυχίες που σχετίζονται με την εσωτερική εγκυρότητα είναι: (1) η μονόπλευρη μη συμμόρφωση, όπου όλοι στην ομάδα θεραπείας δεν έλαβαν θεραπεία, (2) δύο όμοιες μη συμμορφώσεις, όπου όχι όλοι στην ομάδα θεραπείας λαμβάνουν τη θεραπεία και κάποιοι η ομάδα ελέγχου λαμβάνει τη θεραπεία, (3) τριβή, όπου τα αποτελέσματα δεν μετρούνται για μερικούς συμμετέχοντες και (4) παρέμβαση, όπου η θεραπεία εξαπλώνεται από άτομα που βρίσκονται στην κατάσταση θεραπείας σε άτομα που βρίσκονται υπό τον έλεγχο. Δείτε τα κεφάλαια 5, 6, 7 και 8 του Gerber and Green (2012) για περισσότερα σχετικά με κάθε ένα από αυτά τα ζητήματα.

Για περισσότερες πληροφορίες σχετικά με την εγκυρότητα της δομής, βλ. Westen and Rosenthal (2003) και για περισσότερα σχετικά με την εγκυρότητα της δομής σε μεγάλες πηγές δεδομένων, Lazer (2015) και κεφάλαιο 2 αυτού του βιβλίου.

Μια πτυχή της εξωτερικής εγκυρότητας είναι η ρύθμιση στην οποία δοκιμάζεται μια παρέμβαση. Allcott (2015) παρέχει μια προσεκτική θεωρητική και εμπειρική αντιμετώπιση της μεροληψίας επιλογής τοποθεσίας. Το ζήτημα αυτό συζητείται επίσης από τον Deaton (2010) . Μια άλλη πτυχή της εξωτερικής ισχύος είναι αν οι εναλλακτικές λειτουργίες της ίδιας παρέμβασης θα έχουν παρόμοια αποτελέσματα. Στην περίπτωση αυτή, μια σύγκριση μεταξύ Schultz et al. (2007) και Allcott (2011) δείχνουν ότι τα πειράματα Opower είχαν μικρότερη εκτιμώμενη θεραπευτική επίδραση από τα αρχικά πειράματα των Schultz και συναδέλφων (1,7% έναντι 5%). Allcott (2011) εξέφρασε την εικασία ότι τα πειράματα παρακολούθησης είχαν μικρότερο αποτέλεσμα λόγω των διαφορετικών τρόπων αντιμετώπισης της θεραπείας: ένα χειρόγραφο emoticon ως μέρος μιας μελέτης που χρηματοδοτείται από ένα πανεπιστήμιο σε σύγκριση με ένα τυπωμένο emoticon ως μέρος μιας μαζικής παραγωγής έκθεση από μια εταιρεία ηλεκτρικής ενέργειας.

• Η ετερογένεια των αποτελεσμάτων της θεραπείας (ενότητα 4.4.2)

Για μια εξαιρετική επισκόπηση της ετερογένειας των επιδράσεων της θεραπείας σε πειράματα πεδίου, βλ. Κεφάλαιο 12 του Gerber and Green (2012) . Για εισαγωγές στην ετερογένεια των θεραπευτικών επιδράσεων σε ιατρικές δοκιμές, βλέπε Kent and Hayward (2007) , Longford (1999) , και Kravitz, Duan, and Braslow (2004) . Οι εκτιμήσεις της ετερογένειας των επιδράσεων της θεραπείας επικεντρώνονται γενικά στις διαφορές που βασίζονται στα χαρακτηριστικά προ της θεραπείας. Εάν σας ενδιαφέρει η ετερογένεια με βάση τα αποτελέσματα μετά τη θεραπεία, χρειάζονται περισσότερο πολύπλοκες προσεγγίσεις, όπως η κύρια διαστρωμάτωση (Frangakis and Rubin 2002) . βλ. Page et al. (2015) για ανασκόπηση.

Πολλοί ερευνητές εκτιμούν την ετερογένεια των αποτελεσμάτων της θεραπείας χρησιμοποιώντας γραμμική παλινδρόμηση, αλλά οι νεώτερες μέθοδοι βασίζονται στη μηχανική μάθηση. βλέπε, για παράδειγμα, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , και Athey and Imbens (2016a) .

Υπάρχει κάποια σκεπτικισμός σχετικά με τα ευρήματα ετερογένειας των αποτελεσμάτων λόγω πολλαπλών προβλημάτων σύγκρισης και "αλιείας". Υπάρχει μια ποικιλία στατιστικών προσεγγίσεων που μπορούν να βοηθήσουν στην αντιμετώπιση των ανησυχιών σχετικά με την πολλαπλή σύγκριση (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Μια προσέγγιση στις ανησυχίες σχετικά με την "αλιεία" είναι η προκαταχώριση, η οποία γίνεται όλο και συχνότερη στην ψυχολογία (Nosek and Lakens 2014) , την πολιτική επιστήμη (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , και οικονομικά (Olken 2015) .

Στη μελέτη της Costa and Kahn (2013) μόνο τα μισά από τα νοικοκυριά του πειράματος θα μπορούσαν να συνδεθούν με τις δημογραφικές πληροφορίες. Οι αναγνώστες που ενδιαφέρονται για αυτές τις λεπτομέρειες θα πρέπει να αναφέρονται στο πρωτότυπο έγγραφο.

• Μηχανισμοί (τμήμα 4.4.3)

Οι μηχανισμοί είναι εξαιρετικά σημαντικοί, αλλά αποδεικνύονται πολύ δύσκολο να μελετηθούν. Η έρευνα για τους μηχανισμούς σχετίζεται στενά με τη μελέτη των μεσολαβητών στην ψυχολογία (αλλά βλέπε επίσης VanderWeele (2009) για μια ακριβή σύγκριση μεταξύ των δύο ιδεών). Οι στατιστικές προσεγγίσεις για την εύρεση μηχανισμών, όπως η προσέγγιση που αναπτύχθηκε στους Baron and Kenny (1986) , είναι αρκετά συχνές. Δυστυχώς, οι διαδικασίες αυτές εξαρτώνται από κάποιες ισχυρές παραδοχές (Bullock, Green, and Ha 2010) και υποφέρουν όταν υπάρχουν πολλοί μηχανισμοί, όπως θα περίμενε κανείς σε πολλές περιπτώσεις (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) και οι Imai and Yamamoto (2013) προσφέρουν μερικές βελτιωμένες στατιστικές μεθόδους. Περαιτέρω, ο VanderWeele (2015) προσφέρει μια θεραπεία με μήκος VanderWeele (2015) με μια σειρά σημαντικών αποτελεσμάτων, συμπεριλαμβανομένης μιας συνολικής προσέγγισης για την ανάλυση ευαισθησίας.

Μια ξεχωριστή προσέγγιση επικεντρώνεται σε πειράματα που επιχειρούν να χειριστούν άμεσα τον μηχανισμό (π.χ. δίνοντας στους ναυτικούς βιταμίνη C). Δυστυχώς, σε πολλά περιβάλλοντα κοινωνικής επιστήμης, υπάρχουν συχνά πολλοί μηχανισμοί και είναι δύσκολο να σχεδιαστούν θεραπείες που αλλάζουν ένα χωρίς να αλλάξουν οι άλλοι. Ορισμένες προσεγγίσεις για τους πειραματικά τροποποιητικούς μηχανισμούς περιγράφονται από τους Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , και τους Pirlott and MacKinnon (2016) .

Οι ερευνητές που εκτελούν πλήρως παραγοντολογικά πειράματα θα πρέπει να ανησυχούν για τις δοκιμές πολλαπλών υποθέσεων. βλέπε Fink, McConnell, and Vollmer (2014) και List, Shaikh, and Xu (2016) για περισσότερες πληροφορίες.

Τέλος, οι μηχανισμοί έχουν επίσης μια μακρά ιστορία στη φιλοσοφία της επιστήμης όπως περιγράφεται από τον Hedström and Ylikoski (2010) .

• Χρησιμοποιώντας υπάρχοντα περιβάλλοντα (ενότητα 4.5.1)

Για περισσότερες πληροφορίες σχετικά με τη χρήση μελετών αλληλογραφίας και ελεγκτικών μελετών για τη μέτρηση των διακρίσεων, βλ. Pager (2007) .

• Δημιουργήστε το δικό σας πείραμα (ενότητα 4.5.2)

Ο πιο συνηθισμένος τρόπος πρόσληψης των συμμετεχόντων σε πειράματα που δημιουργείτε είναι η Amazon Mechanical Turk (MTurk). Επειδή ο MTurk μιμείται πτυχές των παραδοσιακών εργαστηριακών πειραμάτων - που πληρώνουν τους ανθρώπους για να ολοκληρώσουν τα καθήκοντα που δεν θα έκαναν δωρεάν - πολλοί ερευνητές έχουν ήδη αρχίσει να χρησιμοποιούν τους τούρκους (οι εργαζόμενοι στο MTurk) ως πειραματικοί συμμετέχοντες, με αποτέλεσμα ταχύτερη και φθηνότερη συλλογή δεδομένων από ό, σε παραδοσιακά εργαστηριακά πειράματα σε πανεπιστημιουπόλεις (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Γενικά, τα μεγαλύτερα πλεονεκτήματα της χρήσης των συμμετεχόντων που προσλαμβάνονται από MTurk είναι υλικοτεχνικά. Ενώ τα εργαστηριακά πειράματα μπορούν να διαρκέσουν εβδομάδες για να τρέξουν και τα πειράματα πεδίου μπορούν να πάρουν μήνες για να εγκατασταθούν, τα πειράματα με τους συμμετέχοντες που προσλαμβάνονται από MTurk μπορούν να τρέξουν σε ημέρες. Για παράδειγμα, οι Berinsky, Huber, and Lenz (2012) ήταν σε θέση να προσλάβουν 400 άτομα σε μία μόνο ημέρα για να συμμετάσχουν σε ένα Berinsky, Huber, and Lenz (2012) πείραμα. Επιπλέον, αυτοί οι συμμετέχοντες μπορούν να προσληφθούν για σχεδόν οποιοδήποτε σκοπό (συμπεριλαμβανομένων των ερευνών και της μαζικής συνεργασίας, όπως αναφέρεται στα κεφάλαια 3 και 5). Αυτή η ευκολία πρόσληψης σημαίνει ότι οι ερευνητές μπορούν να τρέξουν αλληλουχίες σχετικών πειραμάτων με γρήγορη διαδοχή.

Πριν από την πρόσληψη συμμετεχόντων από το MTurk για τα δικά σας πειράματα, υπάρχουν τέσσερα σημαντικά πράγματα που πρέπει να γνωρίζετε. Πρώτον, πολλοί ερευνητές έχουν ένα μη συγκεκριμένο σκεπτικισμό των πειραμάτων που αφορούν τους Τουρκοκύπριους. Επειδή αυτός ο σκεπτικισμός δεν είναι συγκεκριμένος, είναι δύσκολο να αντιμετωπιστούν τα αποδεικτικά στοιχεία. Ωστόσο, μετά από αρκετά χρόνια σπουδών που χρησιμοποιούν τους τούρκους, μπορούμε τώρα να συμπεράνουμε ότι αυτός ο σκεπτικισμός δεν είναι ιδιαίτερα δικαιολογημένος. Έχουν γίνει πολλές μελέτες που συγκρίνουν τα δημογραφικά στοιχεία των Τούρκων με εκείνα άλλων πληθυσμών και πολλές μελέτες που συγκρίνουν τα αποτελέσματα των πειραμάτων με τους Τουρκοκύπριους με εκείνους άλλων πληθυσμών. Δεδομένης αυτής της εργασίας, νομίζω ότι ο καλύτερος τρόπος για να το σκεφτείτε είναι ότι το Τουρκμενιστάν είναι ένα εύλογο δείγμα ευκολίας, όπως οι μαθητές αλλά λίγο πιο διαφορετικό (Berinsky, Huber, and Lenz 2012) . Έτσι, καθώς οι σπουδαστές είναι ένας εύλογος πληθυσμός για μερικούς, αλλά όχι για όλους, έρευνα, οι Τουρκοκύλοι είναι ένας λογικός πληθυσμός για μερικές, αλλά όχι για όλες, έρευνα. Αν πρόκειται να συνεργαστείτε με τους Τούρκους, τότε είναι λογικό να διαβάσετε πολλές από αυτές τις συγκριτικές μελέτες και να κατανοήσετε τις αποχρώσεις τους.

Δεύτερον, οι ερευνητές έχουν αναπτύξει τις βέλτιστες πρακτικές για την αύξηση της εσωτερικής εγκυρότητας των πειραμάτων MTurk και θα πρέπει να μάθετε και να ακολουθήσετε αυτές τις βέλτιστες πρακτικές (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Για παράδειγμα, οι ερευνητές που χρησιμοποιούν το Τουρκμενιστάν ενθαρρύνονται να χρησιμοποιήσουν διαλογείς για να απομακρύνουν τους (Berinsky, Margolis, and Sances 2014, 2016) συμμετέχοντες (Berinsky, Margolis, and Sances 2014, 2016) (βλέπε επίσης DJ Hauser and Schwarz (2015b) και DJ Hauser and Schwarz (2015a) ). Εάν δεν αφαιρέσετε τους απροσδόκητους συμμετέχοντες, τότε οποιαδήποτε επίδραση της θεραπείας μπορεί να ξεπλυθεί από το θόρυβο που εισάγουν και στην πράξη ο αριθμός των απροσδόκητων συμμετεχόντων μπορεί να είναι σημαντικός. Στο πείραμα του Huber και των συναδέλφων του (2012) , περίπου το 30% των συμμετεχόντων απέτυχε στους βασικούς ελέγχους προσοχής. Άλλα προβλήματα που συνήθως προκύπτουν όταν χρησιμοποιούνται οι τουρκιστές είναι οι μη-αθώοι συμμετέχοντες (Chandler et al. 2015) και η φθορά (Zhou and Fishbach 2016) .

Τρίτον, σε σχέση με κάποιες άλλες μορφές ψηφιακών πειραμάτων, τα πειράματα MTurk δεν μπορούν να κλιμακωθούν. Stewart et al. (2015) εκτιμούν ότι σε οποιαδήποτε δεδομένη στιγμή υπάρχουν μόνο περίπου 7.000 άνθρωποι στο MTurk.

Τέλος, θα πρέπει να γνωρίζετε ότι η MTurk είναι μια κοινότητα με δικούς της κανόνες και κανόνες (Mason and Suri 2012) . Με τον ίδιο τρόπο που θα προσπαθούσατε να μάθετε για τον πολιτισμό μιας χώρας στην οποία επρόκειτο να εκτελέσετε τα πειράματά σας, θα πρέπει να προσπαθήσετε να μάθετε περισσότερα για τον πολιτισμό και τους κανόνες των τουρκοκυπρίων (Salehi et al. 2015) . Και πρέπει να γνωρίζετε ότι οι Τουρκοκύλοι θα μιλούν για το πείραμά σας αν κάνετε κάτι ακατάλληλο ή ανήθικο (Gray et al. 2016) .

Το MTurk είναι ένας απίστευτα βολικός τρόπος για να προσλάβετε τους συμμετέχοντες στα πειράματά σας, είτε πρόκειται για εργαστήρια, όπως αυτά του Huber, Hill, and Lenz (2012) , ή περισσότερα πεδία, όπως αυτά των Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , και Mao et al. (2016) .

• Δημιουργήστε το δικό σας προϊόν (ενότητα 4.5.3)

Εάν σκέφτεστε να προσπαθήσετε να δημιουργήσετε το δικό σας προϊόν, συνιστούμε να διαβάσετε τις συμβουλές που προσφέρει η ομάδα MovieLens στο Harper and Konstan (2015) . Μια βασική ιδέα από την εμπειρία τους είναι ότι για κάθε επιτυχημένο έργο υπάρχουν πολλές, πολλές αποτυχίες. Για παράδειγμα, η ομάδα MovieLens ξεκίνησε άλλα προϊόντα, όπως τα GopherAnswers, που ήταν πλήρεις αποτυχίες (Harper and Konstan 2015) . Ένα άλλο παράδειγμα ενός ερευνητή που αποτυγχάνει όταν επιχειρεί να κατασκευάσει ένα προϊόν είναι η προσπάθεια του Edward Castronova να δημιουργήσει ένα online παιχνίδι που ονομάζεται Arden. Παρά τη χρηματοδότηση ύψους 250.000 δολαρίων, το έργο ήταν ένα flop (Baker 2008) . Έργα όπως το GopherAnswers και το Arden είναι δυστυχώς πολύ πιο κοινά από τα έργα όπως το MovieLens.

• Συνεργάζεται με τους ισχυρούς (τμήμα 4.5.4)

Έχω ακούσει την ιδέα του Quastrant του Pasteur που συζήτησε συχνά σε εταιρείες τεχνολογίας και βοηθά στην οργάνωση ερευνητικών προσπαθειών στο Google (Spector, Norvig, and Petrov 2012) .

Η μελέτη του Bond και των συναδέλφων (2012) επιχειρεί επίσης να ανιχνεύσει την επίδραση αυτών των θεραπειών στους φίλους εκείνων που τους έλαβαν. Λόγω του σχεδιασμού του πειράματος, αυτά τα αποτελέσματα είναι δύσκολο να ανιχνευθούν καθαρά. οι ενδιαφερόμενοι αναγνώστες θα πρέπει να δουν τον Bond et al. (2012) για διεξοδικότερη συζήτηση. Ο Jones και οι συνεργάτες του (2017) διεξήγαγαν επίσης ένα πολύ παρόμοιο πείραμα κατά τις εκλογές του 2012. Αυτά τα πειράματα αποτελούν μέρος μιας μακράς παράδοσης πειραμάτων στην πολιτική επιστήμη σχετικά με τις προσπάθειες ενθάρρυνσης της ψηφοφορίας (Green and Gerber 2015) . Αυτά τα πειράματα get-out-the-vote είναι κοινά, εν μέρει επειδή βρίσκονται στο τεταρτημόριο του Pasteur. Δηλαδή, υπάρχουν πολλοί άνθρωποι που έχουν κίνητρα να αυξήσουν την ψηφοφορία και η ψηφοφορία μπορεί να είναι μια ενδιαφέρουσα συμπεριφορά για να δοκιμάσουν γενικότερες θεωρίες σχετικά με τη μεταβολή της συμπεριφοράς και την κοινωνική επιρροή.

Για συμβουλές σχετικά με τη διεξαγωγή πειραμάτων πεδίου σε οργανισμούς-εταίρους όπως πολιτικά κόμματα, ΜΚΟ και επιχειρήσεις, βλ. Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) και Gueron (2002) . Για σκέψεις σχετικά με τον τρόπο με τον οποίο οι εταιρικές σχέσεις με οργανισμούς μπορούν να επηρεάσουν τα σχέδια έρευνας, βλέπε King et al. (2007) και Green, Calfano, and Aronow (2014) . Η εταιρική σχέση μπορεί επίσης να οδηγήσει σε ηθικά ζητήματα, όπως συζητήθηκαν από τους Humphreys (2015) και Nickerson and Hyde (2016) .

• Συμβουλές σχεδιασμού (τμήμα 4.6)

Εάν πρόκειται να δημιουργήσετε ένα σχέδιο ανάλυσης πριν εκτελέσετε το πείραμά σας, προτείνω να ξεκινήσετε διαβάζοντας τις οδηγίες αναφοράς. Οι οδηγίες CONSORT (Consolidated Standard Reporting of Trials) αναπτύχθηκαν στην ιατρική (Schulz et al. 2010) και τροποποιήθηκαν για κοινωνική έρευνα (Mayo-Wilson et al. 2013) . Ένα σχετικό σύνολο κατευθυντήριων γραμμών έχει αναπτυχθεί από τους συντάκτες της εφημερίδας της πειραματικής πολιτικής επιστήμης (Gerber et al. 2014) (βλέπε επίσης Mutz and Pemantle (2015) και Gerber et al. (2015) ). Τέλος, αναπτύχθηκαν κατευθυντήριες γραμμές για την υποβολή αναφορών στην ψυχολογία (APA Working Group 2008) και επίσης βλέπε Simmons, Nelson, and Simonsohn (2011) .

Εάν δημιουργήσετε ένα σχέδιο ανάλυσης, θα πρέπει να εξετάσετε την προκαταχώρισή του, επειδή η προκαταχώριση θα αυξήσει την εμπιστοσύνη που έχουν τα υπόλοιπα αποτελέσματα στα αποτελέσματά σας. Επιπλέον, αν εργάζεστε με έναν συνεργάτη, θα περιορίσει την ικανότητα του συνεργάτη σας να αλλάξει την ανάλυση αφού δει τα αποτελέσματα. Η προ-καταχώριση γίνεται ολοένα και συχνότερη στην ψυχολογία (Nosek and Lakens 2014) , στις πολιτικές επιστήμες (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) και οικονομικά (Olken 2015) .

Σχεδιαστικές συμβουλές ειδικά για επιτόπια πειράματα πεδίου παρουσιάζονται επίσης στους Konstan and Chen (2007) και Chen and Konstan (2015) .

Αυτό που έχω ονομάσει στρατηγική armada καλείται μερικές φορές προγραμματική έρευνα ? βλέπε Wilson, Aronson, and Carlsmith (2010) .

• Δημιουργήστε μηδενικά δεδομένα μεταβλητού κόστους (ενότητα 4.6.1)

Για περισσότερα σχετικά με τα πειράματα MusicLab, βλ. Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) και Salganik (2007) . Για περισσότερες πληροφορίες σχετικά με τις αγορές νικητών-όλων, βλ. Frank and Cook (1996) . Για περισσότερες πληροφορίες σχετικά με την τύχη και την ικανότητα γενικότερα, βλ. Mauboussin (2012) , Watts (2012) και Frank (2016) .

Υπάρχει μια άλλη προσέγγιση για την εξάλειψη των πληρωμών των συμμετεχόντων που πρέπει να χρησιμοποιούν οι ερευνητές με προσοχή: στρατολόγηση. Σε πολλά online πειράματα πεδίου οι συμμετέχοντες σχεδιάζονται βασικά σε πειράματα και δεν αποζημιώνονται ποτέ. Παραδείγματα αυτής της προσέγγισης είναι τα πειράματα του Restivo και του van de Rijt (2012) σχετικά με τις ανταμοιβές στο έργο της Βικιπαίδειας και του Bond και του συνάδελφου του (2012) για την ενθάρρυνση των πολιτών να ψηφίσουν. Αυτά τα πειράματα δεν έχουν πραγματικά μηδενικό μεταβλητό κόστος - μάλλον, έχουν μηδενικό μεταβλητό κόστος για τους ερευνητές . Σε τέτοια πειράματα, ακόμη και αν το κόστος για κάθε συμμετέχοντα είναι εξαιρετικά μικρό, το συνολικό κόστος μπορεί να είναι αρκετά μεγάλο. Οι ερευνητές που εκτελούν μαζικά πειράματα σε απευθείας σύνδεση συχνά δικαιολογούν τη σημασία των μικρών εκτιμώμενων αποτελεσμάτων θεραπείας λέγοντας ότι αυτά τα μικρά αποτελέσματα μπορούν να γίνουν σημαντικά όταν εφαρμόζονται σε πολλούς ανθρώπους. Η ίδια ακριβώς σκέψη ισχύει για το κόστος που επιβάλλουν οι ερευνητές στους συμμετέχοντες. Αν το πείραμά σας προκαλέσει ένα εκατομμύριο ανθρώπους να χάσουν ένα λεπτό, το πείραμα δεν είναι πολύ επιβλαβές για κανένα συγκεκριμένο άτομο, αλλά συνολικά χάθηκε σχεδόν δύο χρόνια.

Μια άλλη προσέγγιση για τη δημιουργία μηδενικής πληρωμής μεταβλητού κόστους για τους συμμετέχοντες είναι η χρήση μιας λαχειοφόρου αγοράς, μιας προσέγγισης που έχει χρησιμοποιηθεί και στην έρευνα έρευνας (Halpern et al. 2011) . Για περισσότερα σχετικά με το σχεδιασμό ευχάριστων εμπειριών χρήστη, βλ. Toomim et al. (2011) . Για περισσότερα σχετικά με τη χρήση των bots για τη δημιουργία πειραμάτων μηδενικού μεταβλητού κόστους βλέπε ( ??? ) .

• Αντικατάσταση, βελτίωση και μείωση (ενότητα 4.6.2)

Οι τρεις R, όπως αρχικά προτάθηκαν από τους Russell and Burch (1959) είναι οι εξής:

"Αντικατάσταση σημαίνει την αντικατάσταση για συνειδητή ζουν ανώτερα ζώα της αναίσθητος υλικό. Μείωση σημαίνει μείωση του αριθμού των ζώων που χρησιμοποιούνται για τη λήψη πληροφοριών από δεδομένη ποσότητα και ακρίβεια. Φινέτσα σημαίνει οποιαδήποτε μείωση στη συχνότητα ή τη σοβαρότητα των απάνθρωπες διαδικασίες που εφαρμόζονται σε αυτά τα ζώα, τα οποία πρέπει να συνεχίσουν να χρησιμοποιούνται. "

Οι τρεις R που προτείνω δεν υπερισχύουν των ηθικών αρχών που περιγράφονται στο κεφάλαιο 6. Αντίθετα, είναι μια πιο εξελιγμένη εκδοχή μία από αυτές τις αρχές-ευεργεσία-ειδικά στον καθορισμό των ανθρώπινων πειραμάτων.

Από την άποψη του πρώτου R ("αντικατάσταση"), η σύγκριση του πειράματος συναισθηματικής μετάδοσης (Kramer, Guillory, and Hancock 2014) και του φυσικού πειράματος συναισθηματικής μετάδοσης (Lorenzo Coviello et al. 2014) στη μετάβαση από πειράματα σε φυσικά πειράματα (και σε άλλες προσεγγίσεις όπως η αντιστοίχιση που επιχειρούν να προσεγγίσουν τα πειράματα σε μη πειραματικά δεδομένα · βλέπε κεφάλαιο 2). Εκτός από τα ηθικά οφέλη, η μετάβαση από πειραματικές σε μη πειραματικές μελέτες επιτρέπει επίσης στους ερευνητές να μελετήσουν θεραπείες που δεν μπορούν να αναπτυχθούν από λογισμικό. Αυτά τα οφέλη δεοντολογίας και υλικοτεχνικής υποστήριξης έρχονται όμως με κόστος. Με τα φυσικά πειράματα οι ερευνητές έχουν μικρότερο έλεγχο σε θέματα όπως η πρόσληψη συμμετεχόντων, η τυχαιοποίηση και η φύση της θεραπείας. Για παράδειγμα, ένας περιορισμός της βροχόπτωσης ως θεραπείας είναι ότι τόσο αυξάνει τη θετικότητα όσο και μειώνει την αρνητικότητα. Στην πειραματική μελέτη, ωστόσο, ο Kramer και οι συνεργάτες του ήταν σε θέση να προσαρμόσουν την θετικότητα και την αρνητικότητα ανεξάρτητα. Η συγκεκριμένη προσέγγιση που χρησιμοποιήθηκε από τους Lorenzo Coviello et al. (2014) επεξεργάστηκε περαιτέρω από τους L. Coviello, Fowler, and Franceschetti (2014) . Για μια εισαγωγή στις οργανικές μεταβλητές, η οποία είναι η προσέγγιση που χρησιμοποιήθηκε από τους Lorenzo Coviello et al. (2014) , βλ. Angrist and Pischke (2009) (λιγότερο τυπική) ή Angrist, Imbens, and Rubin (1996) (πιο επίσημη). Για μια σκεπτικιστική εκτίμηση των οργανικών μεταβλητών, βλ. Deaton (2010) , και για μια εισαγωγή στις οργανικές μεταβλητές με αδύναμα μέσα (βροχή είναι ένα αδύναμο όργανο), βλ. Murray (2006) . Γενικότερα, μια καλή εισαγωγή για το φυσικό πειράματα δίνεται από τον Dunning (2012) , ενώ Rosenbaum (2002) , ( ??? ) , και Shadish, Cook, and Campbell (2001) προσφέρουν καλές ιδέες για την εκτίμηση αιτιώδους συνάφειας χωρίς πειράματα.

Όσον αφορά τη δεύτερη R ("βελτίωση"), υπάρχουν επιστημονικά και υλικοτεχνικά συμπεράσματα όταν εξετάζεται το ενδεχόμενο αλλαγής του σχεδιασμού της Συναισθηματικής Καταπόνησης από το κλείδωμα των θέσεων σε θέσεις ενίσχυσης. Για παράδειγμα, μπορεί να συμβεί ότι η τεχνική υλοποίηση της ειδησεογραφικής ειδησεογραφικής τεκμηρίωσης καθιστά ευκολότερο να πραγματοποιηθεί ένα πείραμα στο οποίο μπλοκάρουν οι θέσεις και όχι μία στην οποία ενισχύονται (σημειώστε ότι θα μπορούσε να εφαρμοστεί ένα πείραμα που περιλάμβανε αποκλεισμό θέσεων ως στρώμα πάνω από το σύστημα ειδήσεων ειδήσεων χωρίς καμία ανάγκη αλλαγών στο υποκείμενο σύστημα). Επιστημονικά, όμως, η θεωρία που αντιμετωπίζεται από το πείραμα δεν υποδηλώνει σαφώς ένα σχέδιο σε σχέση με το άλλο. Δυστυχώς, δεν γνωρίζω ουσιαστική προηγούμενη έρευνα σχετικά με τα σχετικά πλεονεκτήματα του αποκλεισμού και της ενίσχυσης περιεχομένου στο News Feed. Επίσης, δεν έχω δει πολλές έρευνες για τις επεξεργασίες καθαρισμού ώστε να γίνουν λιγότερο επιβλαβείς. μια εξαίρεση είναι οι B. Jones and Feamster (2015) , οι οποίες εξετάζουν την περίπτωση της μέτρησης της λογοκρισίας στο Διαδίκτυο (ένα θέμα που συζητώ στο κεφάλαιο 6 σε σχέση με τη μελέτη Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Όσον αφορά την τρίτη R ("μείωση"), οι καλές εισαγωγές στην παραδοσιακή ανάλυση ισχύος δίνονται από τον Cohen (1988) (βιβλίο) και Cohen (1992) (άρθρο), ενώ οι Gelman and Carlin (2014) προσφέρουν μια ελαφρώς διαφορετική προοπτική. Οι μεταβλητές προ-θεραπείας μπορούν να συμπεριληφθούν στο στάδιο σχεδιασμού και ανάλυσης των πειραμάτων. το κεφάλαιο 4 του Gerber and Green (2012) παρέχει μια καλή εισαγωγή και στις δύο προσεγγίσεις και η Casella (2008) παρέχει μια πιο εμπεριστατωμένη επεξεργασία. Οι τεχνικές που χρησιμοποιούν αυτές τις πληροφορίες για την προεπεξεργασία στην τυχαιοποίηση αποκαλούνται τυπικά είτε αποκλεισμένα πειραματικά σχέδια είτε στρωματοποιημένα πειραματικά σχέδια (η ορολογία δεν χρησιμοποιείται με συνέπεια στις διάφορες κοινότητες). αυτές οι τεχνικές είναι στενά συνδεδεμένες με τις τεχνικές στρωματοποιημένων δειγματοληψιών που αναφέρονται στο κεφάλαιο 3. Βλ. Higgins, Sävje, and Sekhon (2016) για περισσότερα σχετικά με τη χρήση αυτών των σχεδίων σε μαζικά πειράματα. Οι μεταβλητές πριν από τη θεραπεία μπορούν επίσης να συμπεριληφθούν στο στάδιο της ανάλυσης. McKenzie (2012) διερευνά την προσέγγιση της διαφοράς στη διαφορά στην ανάλυση των πειραμάτων πεδίου με μεγαλύτερη λεπτομέρεια. Βλ. Carneiro, Lee, and Wilhelm (2016) για περισσότερα σχετικά με τις ανταλλαγές μεταξύ διαφορετικών προσεγγίσεων για την αύξηση της ακρίβειας στις εκτιμήσεις των επιδράσεων της θεραπείας. Τέλος, όταν αποφασίζουμε αν θα προσπαθήσουμε να συμπεριλάβουμε συμπαράσματα προ της θεραπείας στο στάδιο σχεδιασμού ή ανάλυσης (ή και τα δύο), υπάρχουν μερικοί παράγοντες που πρέπει να εξεταστούν. Σε ένα περιβάλλον όπου οι ερευνητές θέλουν να δείξουν ότι δεν "αλιεύουν" (Humphreys, Sierra, and Windt 2013) , μπορεί να είναι χρήσιμη η χρήση μεταβλητών πριν τη θεραπεία στο στάδιο του σχεδιασμού (Higgins, Sävje, and Sekhon 2016) . Σε καταστάσεις όπου οι συμμετέχοντες φθάνουν διαδοχικά, ειδικά σε ηλεκτρονικά πειράματα πεδίου, η χρήση πληροφοριών πριν από τη θεραπεία στο στάδιο του σχεδιασμού μπορεί να είναι δύσκολη από υλικοτεχνική άποψη. βλέπε, για παράδειγμα, Xie and Aurisset (2016) .

Αξίζει να προσθέσουμε μια μικρή διαίσθηση σχετικά με το γιατί μια προσέγγιση διαφοράς σε διαφορές μπορεί να είναι πολύ πιο αποτελεσματική από τη διαφορά μέσα σε μια. Πολλά αποτελέσματα σε απευθείας σύνδεση έχουν πολύ μεγάλη διακύμανση (βλέπε π.χ. RA Lewis and Rao (2015) και Lamb et al. (2015) ) και είναι σχετικά σταθερά με την πάροδο του χρόνου. Σε αυτή την περίπτωση, η βαθμολογία αλλαγής θα έχει σημαντικά μικρότερη διακύμανση, αυξάνοντας την ισχύ της στατιστικής δοκιμής. Ένας από τους λόγους για τους οποίους αυτή η προσέγγιση δεν χρησιμοποιείται συχνότερα είναι ότι πριν από την ψηφιακή εποχή δεν ήταν κοινό να έχουμε αποτελέσματα προ της θεραπείας. Ένας πιο συγκεκριμένος τρόπος να σκεφτούμε αυτό είναι να φανταστεί κανείς ένα πείραμα για να μετρήσει εάν μια συγκεκριμένη άσκηση ρουτίνα προκαλεί απώλεια βάρους. Εάν υιοθετήσετε μια προσέγγιση διαφοράς σε μέσα, η εκτίμησή σας θα έχει μεταβλητότητα που προκύπτει από τη μεταβλητότητα των βαρών στον πληθυσμό. Ωστόσο, αν ακολουθήσετε μια προσέγγιση διαφοράς διαφορετικών διαφορών, αυτή η φυσική μεταβολή των βαρών αφαιρείται και μπορείτε να ανιχνεύσετε πιο εύκολα τη διαφορά που προκαλείται από τη θεραπεία.

Τέλος, σκέφτηκα να προσθέσω ένα τέταρτο R: "επαναχρησιμοποίηση". Δηλαδή, αν οι ερευνητές βρεθούν με περισσότερα πειραματικά δεδομένα από ό, τι χρειάζεται για να απαντήσουν στην αρχική ερευνητική τους ερώτηση, θα πρέπει να επαναλάβουν τα δεδομένα για να θέσουν νέες ερωτήσεις. Για παράδειγμα, φανταστείτε ότι ο Kramer και οι συνάδελφοί του χρησιμοποίησαν έναν εκτιμητή διαφοράς στις διαφορές και βρέθηκαν με περισσότερα δεδομένα από όσα χρειάζονταν για να αντιμετωπίσουν την ερευνητική τους ερώτηση. Αντί να μην χρησιμοποιούν τα δεδομένα στο μέγιστο βαθμό, θα μπορούσαν να μελετήσουν το μέγεθος του αποτελέσματος ως συνάρτηση της συναισθηματικής έκφρασης πριν από τη θεραπεία. Όπως ακριβώς ο Schultz et al. (2007) διαπίστωσε ότι η επίδραση της θεραπείας ήταν διαφορετική για τους ελαφρούς και τους βαρείς χρήστες, ίσως τα αποτελέσματα της News Feed ήταν διαφορετικά για τους ανθρώπους που ήδη έτειναν να δημοσιεύουν χαρούμενα (ή λυπημένα) μηνύματα. Η επανάληψη θα μπορούσε να οδηγήσει σε "αλιεία" (Humphreys, Sierra, and Windt 2013) και "p-hacking" (Simmons, Nelson, and Simonsohn 2011) . Ωστόσο, αυτές είναι ευρέως διευθυντικές με έναν συνδυασμό ειλικρινών αναφορών (Simmons, Nelson, and Simonsohn 2011) , προεγγραφή (Humphreys, Sierra, and Windt 2013) , και μηχανικές μεθόδους μάθησης που προσπαθούν να αποφύγουν την υπερβολική τοποθέτηση.