περαιτέρω σχόλια

Αυτό το τμήμα έχει σχεδιαστεί για να χρησιμοποιείται ως σημείο αναφοράς, αντί να διαβαστεί ως μια αφήγηση.

• Εισαγωγή (ενότητα 4.1)

Ερωτήσεις σχετικά με την αιτιότητα στην κοινωνική έρευνα είναι συχνά πολύπλοκα και περίπλοκα. Για μια θεμελιακή προσέγγιση για την αιτιότητα με βάση την αιτιώδη γραφήματα, δείτε Pearl (2009) , και για μια θεμελιακή προσέγγιση που βασίζεται σε πιθανές εκβάσεις, δείτε Imbens and Rubin (2015) (και το τεχνικό προσάρτημα σε αυτό το κεφάλαιο). Για μια σύγκριση μεταξύ αυτών των δύο προσεγγίσεων, βλέπε Morgan and Winship (2014) . Για μια επίσημη προσέγγιση για τον καθορισμό μιας παράγοντας σύγχυσης, δείτε VanderWeele and Shpitser (2013) .

Στο κεφάλαιο, δημιούργησα αυτό που φαινόταν σαν μια φωτεινή γραμμή μεταξύ ικανότητά μας να κάνουν αιτιώδης εκτιμήσεις από πειραματικές και μη πείραμα δεδομένων. Στην πραγματικότητα, νομίζω ότι η διάκριση είναι θολή. Για παράδειγμα, ο καθένας δέχεται ότι το κάπνισμα προκαλεί καρκίνο, ακόμη κι αν δεν έχουν κάνει ποτέ μια τυχαιοποιημένη ελεγχόμενη πείραμα που αναγκάζει τους ανθρώπους να καπνίζουν. Για την άριστη θεραπείες μήκους βιβλίο για την πραγματοποίηση εκτιμήσεων αιτιώδη από μη-πειραματικά δεδομένα δείτε Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , και Dunning (2012) .

Τα κεφάλαια 1 και 2 του Freedman, Pisani, and Purves (2007) προσφέρει μια σαφή εισαγωγή στις διαφορές μεταξύ των πειραμάτων, ελεγχόμενα πειράματα, και τυχαιοποιημένων ελεγχόμενων πειραμάτων.

Manzi (2012) παρέχει μια συναρπαστική και ευανάγνωστη εισαγωγή στις φιλοσοφικές και στατιστική θεμέλια των τυχαιοποιημένων ελεγχόμενων πειραμάτων. Προβλέπει, επίσης, ενδιαφέρον πραγματικό κόσμο παραδείγματα της δύναμης του πειραματισμού στην επιχείρηση.

• Τι είναι τα πειράματα; (Ενότητα 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) παρέχει καλή γνωριμία με τα στατιστικά στοιχεία του πειραματικού σχεδιασμού και ανάλυσης. Επιπλέον, υπάρχουν εξαιρετικές θεραπείες της χρήσης των πειραμάτων σε πολλούς διαφορετικούς τομείς: οικονομία (Bardsley et al. 2009) , Την κοινωνιολογία (Willer and Walker 2007; Jackson and Cox 2013) , η ψυχολογία (Aronson et al. 1989) , Η πολιτική επιστήμη (Morton and Williams 2010) , και της κοινωνικής πολιτικής (Glennerster and Takavarasha 2013) .

Η σημασία της πρόσληψης συμμετέχοντα (π.χ., δειγματοληψίας) είναι συχνά υπό-εκτιμώνται σε πειραματική έρευνα. Ωστόσο, εάν το αποτέλεσμα της θεραπείας είναι ετερογενής στον πληθυσμό, τότε η δειγματοληψία είναι κρίσιμη. Longford (1999) κάνει αυτό το σημείο με σαφήνεια όταν υποστηρίζει για τους ερευνητές σκέψης των πειραμάτων ως έρευνα πληθυσμού με τυχαία δειγματοληψία.

• Δύο διαστάσεις πειραμάτων: lab-πεδίου και αναλογικό-ψηφιακό (Ενότητα 4.3)

Η διχοτόμηση που παρουσιάζονται μεταξύ εργαστήριο και το πεδίο των πειραμάτων είναι λίγο απλοποιημένο. Στην πραγματικότητα, άλλοι ερευνητές έχουν προτείνει πιο λεπτομερείς τυπολογίες, ιδίως αυτοί που διαχωρίζουν τις διάφορες μορφές των πειραμάτων πεδίου (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Επιπλέον, υπάρχουν δύο άλλοι τύποι πειραμάτων που εκτελούνται από τους κοινωνικούς επιστήμονες που δεν ταιριάζουν τακτοποιημένα μέσα στο εργαστήριο και πεδίο διχοτόμηση:. Πειράματα της έρευνας και της κοινωνικής πειράματα πειράματα της έρευνας είναι πειράματα που χρησιμοποιούν την υποδομή των υφιστάμενων ερευνών και συγκρίνετε τις απαντήσεις σε εναλλακτικές εκδόσεις του ίδια ερωτήματα (μερικά πειράματα της έρευνας παρουσιάζονται στο Κεφάλαιο 3)? για περισσότερες πληροφορίες σχετικά με τα πειράματα της έρευνας δείτε Mutz (2011) . Κοινωνική πειράματα είναι πειράματα όπου η θεραπεία είναι μερικά κοινωνικής πολιτικής που μπορούν να εφαρμοστούν μόνο από μια κυβέρνηση. Κοινωνικά πειράματα έχουν στενή σχέση με τον προγραμματισμό της αξιολόγησης. Για περισσότερες πληροφορίες σχετικά με τα πειράματα πολιτική, δείτε Orr (1998) , Glennerster and Takavarasha (2013) , και Heckman and Smith (1995) .

Μια σειρά από έγγραφα έχουν σχέση εργαστήριο και το πεδίο πειράματα αφηρημένα (Falk and Heckman 2009; Cialdini 2009) και από την άποψη των αποτελεσμάτων των συγκεκριμένων πειραμάτων στην πολιτική επιστήμη (Coppock and Green 2015) , την οικονομία (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) και την ψυχολογία (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) προσφέρει ένα ωραίο σχεδιασμό της έρευνας για τη σύγκριση των αποτελεσμάτων από το εργαστήριο και το πεδίο των πειραμάτων.

Οι ανησυχίες σχετικά με τους συμμετέχοντες την αλλαγή της συμπεριφοράς τους, επειδή γνωρίζουν ότι τηρούνται στενά καλούνται μερικές φορές επιπτώσεις της ζήτησης, και έχουν μελετηθεί στην ψυχολογία (Orne 1962) και οικονομικά (Zizzo 2009) . Αν και ως επί το πλείστον συνδέονται με εργαστηριακά πειράματα, αυτά τα ίδια ζητήματα μπορεί να προκαλέσει προβλήματα για τα πειράματα πεδίου, καθώς και. Στην πραγματικότητα, οι επιπτώσεις της ζήτησης είναι επίσης μερικές φορές ονομάζεται Hawthorne αποτελέσματα, ένας όρος που προέρχεται από ένα πείραμα πεδίου, ειδικά τα διάσημα πειράματα φωτισμού που ξεκίνησε το 1924 στο Hawthorne Έργων της Western Electric Company (Adair 1984; Levitt and List 2011) . Και οι δύο επιδράσεις της ζήτησης και των αποτελεσμάτων Hawthorn είναι στενά συνδεδεμένη με την ιδέα της αντιδραστικής μέτρησης συζητήθηκαν στο κεφάλαιο 2 (βλέπε επίσης Webb et al. (1966) ).

Η ιστορία των πειραμάτων πεδίου έχει περιγραφεί στα οικονομικά (Levitt and List 2009) , η πολιτική επιστήμη (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , η ψυχολογία (Shadish 2002) , και τη δημόσια τάξη (Shadish and Cook 2009) . Ένας τομέας της κοινωνικής επιστήμης, όπου τα πειράματα πεδίου έγινε γρήγορα σημαντικό είναι διεθνή ανάπτυξη. Για μια θετική αναθεώρηση του εν λόγω έργου στο πλαίσιο της οικονομίας δείτε Banerjee and Duflo (2009) , και για την κριτική αξιολόγηση δείτε Deaton (2010) . Για μια επισκόπηση του έργου αυτού στην πολιτική επιστήμη δείτε Humphreys and Weinstein (2009) . Τέλος, οι ηθικές προκλήσεις που ασχολούνται με πειράματα πεδίου έχουν διερευνηθεί σε πολιτικές επιστήμες (Humphreys 2015; Desposato 2016b) και την οικονομία ανάπτυξης (Baele 2013) .

Στο κεφάλαιο, πρότεινα ότι οι πληροφορίες προ-θεραπεία μπορεί να χρησιμοποιηθεί για τη βελτίωση της ακρίβειας των εκτιμώμενων επιπτώσεων της θεραπείας, αλλά υπάρχει κάποια συζήτηση σχετικά με αυτή την προσέγγιση: Freedman (2008) , Lin (2013) , και Berk et al. (2013) ? δείτε Bloniarz et al. (2016) για περισσότερες πληροφορίες.

• Προχωρώντας πέρα από απλά πειράματα (Ενότητα 4.4)

Έχω επιλέξει να επικεντρωθεί σε τρεις έννοιες: εγκυρότητα, η ετερογένεια των αποτελεσμάτων της θεραπείας, και των μηχανισμών. Αυτές οι έννοιες έχουν διαφορετικά ονόματα σε διάφορους τομείς. Για παράδειγμα, οι ψυχολόγοι έχουν την τάση να προχωρήσουμε πέρα από απλά πειράματα, εστιάζοντας σε μεσολαβητές και οι συντονιστές (Baron and Kenny 1986) . Η ιδέα των μεσολαβητών συλλαμβάνεται από αυτό που εγώ αποκαλώ μηχανισμούς, και η ιδέα της συντονιστές συλλαμβάνεται από αυτό που εγώ αποκαλώ εξωτερική εγκυρότητα (π.χ., θα τα αποτελέσματα του πειράματος ήταν διαφορετική αν είχε τρέξει σε διάφορες καταστάσεις) και την ετερογένεια των αποτελεσμάτων της θεραπείας ( π.χ., είναι οι επιπτώσεις μεγαλύτερη για κάποιους ανθρώπους από τους άλλους ανθρώπους).

Το πείραμα του Schultz et al. (2007) δείχνει πώς η κοινωνική θεωρίες μπορούν να χρησιμοποιηθούν για το σχεδιασμό αποτελεσματικών παρεμβάσεων. Για μια πιο γενική άποψη για το ρόλο της θεωρίας στο σχεδιασμό αποτελεσματικών παρεμβάσεων, δείτε Walton (2014) .

• Ισχύς (Ενότητα 4.4.1)

Οι έννοιες της εσωτερικής και εξωτερικής εγκυρότητας θεσπίστηκαν για πρώτη φορά σε Campbell (1957) . Δείτε Shadish, Cook, and Campbell (2001) για μια πιο λεπτομερές ιστορικό και μια προσεκτική επεξεργασία των στατιστικών το κύρος της σύμβασης, την εσωτερική εγκυρότητα, δομική εγκυρότητα και εξωτερική εγκυρότητα.

Για μια επισκόπηση των θεμάτων που σχετίζονται με τις στατιστικές το κύρος της σύμβασης σε πειράματα δείτε Gerber and Green (2012) (για μια προοπτική κοινωνικών επιστημών) και Imbens and Rubin (2015) (για μια στατιστική άποψη). Ορισμένα θέματα της στατιστικής εγκυρότητας συμπέρασμα που προκύπτουν ειδικά σε πειράματα σε απευθείας σύνδεση τομέα περιλαμβάνουν θέματα όπως υπολογιστικά αποδοτικές μεθόδους για τη δημιουργία διαστημάτων εμπιστοσύνης με εξαρτώμενα δεδομένα (Bakshy and Eckles 2013) .

Εσωτερική ισχύς μπορεί να είναι δύσκολο να εξασφαλιστεί σε σύνθετα πειράματα πεδίου. Βλέπε, για παράδειγμα, Gerber and Green (2000) , Imai (2005) , και Gerber and Green (2005) για συζήτηση σχετικά με την υλοποίηση ενός σύνθετου πειράματος πεδίου για την ψηφοφορία. Kohavi et al. (2012) και Kohavi et al. (2013) παρέχει μια εισαγωγή στις προκλήσεις του διαστήματος ισχύος σε πειράματα σε απευθείας σύνδεση τομέα.

Μια σημαντική ανησυχία με εσωτερική εγκυρότητα είναι τα προβλήματα με την τυχαιοποίηση. Ένας τρόπος για να δυνητικά να ανιχνεύσει προβλήματα με την τυχαιοποίηση είναι να συγκρίνουμε τις ομάδες θεραπείας και ελέγχου σε παρατηρήσιμα χαρακτηριστικά. Αυτό το είδος της σύγκρισης ονομάζεται έλεγχος ισορροπίας. Δείτε Hansen and Bowers (2008) για μια στατιστική προσέγγιση για την εξισορρόπηση των ελέγχων, και να δούμε Mutz and Pemantle (2015) για τις ανησυχίες σχετικά με τους ελέγχους ισορροπία. Για παράδειγμα, χρησιμοποιώντας μια ισορροπία ελέγξει Allcott (2011) βρήκαν ότι υπάρχουν κάποιες ενδείξεις ότι η τυχαιοποίηση δεν εφαρμόστηκε σωστά σε τρία από τα πειράματα σε ορισμένα από τα πειράματα που Opower (βλέπε Πίνακα 2? Θέσεις 2, 6, και 8). Για άλλες προσεγγίσεις, δείτε Imbens and Rubin (2015) , Κεφάλαιο 21.

Άλλα σημαντικά ζητήματα που σχετίζονται με την εσωτερική εγκυρότητα είναι: 1) μονόπλευρη μη συμμόρφωσης, όπου δεν είναι όλοι στην ομάδα θεραπείας που έλαβε πραγματικά την θεραπεία, 2) δύο όψεων μη συμμόρφωσης, όπου δεν είναι όλοι στην ομάδα θεραπείας λαμβάνει τη θεραπεία και μερικά άτομα στην ομάδα ελέγχου λαμβάνουν τη θεραπεία, 3) φθοράς, όπου τα αποτελέσματα δεν μετρώνται για ορισμένους συμμετέχοντες, και 4) παρεμβολή, όπου η θεραπεία διαρροές πάνω από τους ανθρώπους στην κατάσταση της θεραπείας στους ανθρώπους στην κατάσταση ελέγχου. Δείτε Gerber and Green (2012) κεφάλαια 5, 6, 7, και 8 για περισσότερες πληροφορίες σχετικά με κάθε ένα από αυτά τα θέματα.

Για περισσότερες πληροφορίες σχετικά με το κύρος κατασκεύασμα, δείτε Westen and Rosenthal (2003) , καθώς και για περισσότερες πληροφορίες σχετικά με το κατασκεύασμα κύρος σε μεγάλες πηγές δεδομένων, Lazer (2015) και του κεφαλαίου 2 του παρόντος βιβλίου.

Μια πτυχή της εξωτερικής εγκυρότητας είναι το περιβάλλον όπου η παρέμβαση δοκιμάζεται. Allcott (2015) παρέχει μια προσεκτική θεωρητική και εμπειρική θεραπεία της προκατάληψης επιλογή του τόπου. Το θέμα αυτό συζητήθηκε επίσης σε Deaton (2010) . Εκτός από το ότι αναπαραχθεί σε πολλές περιοχές, η Αρχική σελίδα Έκθεση Energy παρέμβαση έχει επίσης ανεξάρτητα μελετηθεί από πολλούς ερευνητικές ομάδες (π.χ., Ayres, Raseman, and Shih (2013) ).

• Ετερογένεια των αποτελεσμάτων της θεραπείας (Ενότητα 4.4.2)

Για μια εξαιρετική επισκόπηση της ετερογένειας των θεραπευτικών επιδράσεων σε πειράματα πεδίου, ανατρέξτε στο Κεφάλαιο 12 της Gerber and Green (2012) . Για εισαγωγή στην ετερογένεια των αποτελεσμάτων της θεραπείας σε κλινικές δοκιμές, δείτε Kent and Hayward (2007) , Longford (1999) , και Kravitz, Duan, and Braslow (2004) . Ετερογένεια των αποτελεσμάτων της θεραπείας επικεντρώνονται κατά κανόνα σε διαφορές με βάση τα χαρακτηριστικά προ-θεραπείας. Αν σας ενδιαφέρει η ετερογένεια με βάση τα αποτελέσματα μετά τη θεραπεία, τότε είναι πιο πολύπλοκα approachs χρειάζεται, όπως κύρια διαστρωμάτωση (Frangakis and Rubin 2002) ? δείτε Page et al. (2015) για επανεξέταση.

Πολλοί ερευνητές εκτιμούν την ετερογένεια των αποτελεσμάτων της θεραπείας με τη χρήση γραμμικής παλινδρόμησης, αλλά οι νεότερες μέθοδοι βασίζονται σε μηχανική μάθηση, για παράδειγμα, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , και Athey and Imbens (2016a) .

Υπάρχει κάποιος σκεπτικισμός σχετικά με τα ευρήματα της ετερογένειας των επιπτώσεων λόγω των πολλαπλών προβλημάτων σύγκρισης και "ψάρεμα". Υπάρχει μια ποικιλία από στατιστικές προσεγγίσεις που μπορεί να βοηθήσει στην αντιμετώπιση ανησυχιών για πολλαπλή σύγκριση (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Μία προσέγγιση για τις ανησυχίες σχετικά με το "ψάρεμα" είναι προ-εγγραφής, η οποία γίνεται όλο και πιο κοινή στην ψυχολογία (Nosek and Lakens 2014) , η πολιτική επιστήμη (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) και οικονομικά (Olken 2015) .

Στη μελέτη της Costa and Kahn (2013) μόνο το ήμισυ περίπου των νοικοκυριών στο πείραμα ήταν σε θέση να συνδέονται με τη δημογραφική πληροφορίες. Οι αναγνώστες που ενδιαφέρονται για τις λεπτομέρειες και τα πιθανά προβλήματα με την ανάλυση αυτή θα πρέπει να αναφέρονται στο αρχικό έγγραφο.

• Μηχανισμοί (Ενότητα 4.4.3)

Μηχανισμοί είναι εξαιρετικά σημαντικό, αλλά να αποδειχθούν πολύ δύσκολο να μελετηθούν. Έρευνα σχετικά με τους μηχανισμούς σχετίζεται στενά με την μελέτη των διαμεσολαβητών στην ψυχολογία (αλλά βλέπε επίσης VanderWeele (2009) για μια ακριβή σύγκριση μεταξύ των δύο ιδεών). Στατιστικές προσεγγίσεις για την εξεύρεση μηχανισμών, όπως είναι η προσέγγιση που αναπτύχθηκε στο Baron and Kenny (1986) , είναι αρκετά κοινό. Δυστυχώς, αποδεικνύεται ότι οι διαδικασίες αυτές εξαρτώνται από ορισμένες ισχυρές παραδοχές (Bullock, Green, and Ha 2010) και υποφέρουν όταν υπάρχουν πολλαπλοί μηχανισμοί, όπως θα περίμενε κανείς σε πολλές περιπτώσεις (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) και Imai and Yamamoto (2013) προσφέρουν κάποια βελτίωση των στατιστικών μεθόδων. Περαιτέρω, VanderWeele (2015) προσφέρει μια θεραπεία βιβλίο-μήκους με μια σειρά από σημαντικά αποτελέσματα, συμπεριλαμβανομένης μιας ολοκληρωμένης προσέγγισης για την ανάλυση ευαισθησίας.

Μια ξεχωριστή προσέγγιση επικεντρώνεται σε πειράματα που επιχειρούν να χειραγωγήσουν τον μηχανισμό άμεσα (π.χ., δίνοντας ναύτες βιταμίνη C). Δυστυχώς, σε πολλές ρυθμίσεις κοινωνικών επιστημών συχνά υπάρχουν πολλαπλοί μηχανισμοί και είναι δύσκολο να σχεδιάσουμε θεραπείες που αλλάζουν το ένα χωρίς αλλαγή των άλλων. Ορισμένες προσεγγίσεις για πειραματικά μεταβάλλουν μηχανισμούς που περιγράφονται στο Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , και Pirlott and MacKinnon (2016) .

Τέλος, οι μηχανισμοί έχουν επίσης μια μακρά ιστορία στη φιλοσοφία της επιστήμης, όπως περιγράφεται από Hedström and Ylikoski (2010) .

• Χρησιμοποιώντας τα υπάρχοντα περιβάλλοντα (Ενότητα 4.5.1.1)

Για περισσότερες πληροφορίες σχετικά με τη χρήση των μελετών αλληλογραφίας και μελέτες ελέγχου για τη μέτρηση των διακρίσεων δείτε Pager (2007) .

• Φτιάξτε το δικό σας πείραμα (Ενότητα 4.5.1.2)

Ο πιο συνηθισμένος τρόπος για να προσλάβουν συμμετέχοντες στα πειράματα που χτίζετε είναι Amazon Mechanical Turk (MTurk). Επειδή MTurk μιμείται τις πτυχές του παραδοσιακού εργαστηρίου πειραμάτων-πληρώνουν οι άνθρωποι για να ολοκληρώσουν τις εργασίες που δεν θα κάνει για ελεύθερο πολλοί ερευνητές έχουν ήδη αρχίσει να χρησιμοποιεί Turkers (οι εργαζόμενοι στις MTurk) ως συμμετέχοντες σε ανθρώπινα υποκείμενα πειραμάτων με αποτέλεσμα την ταχύτερη και φθηνότερη τη συλλογή δεδομένων από τις παραδοσιακές στις πανεπιστημιουπόλεις εργαστηριακά πειράματα (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Η μεγαλύτερη δύναμη του πειράματα με τους συμμετέχοντες που προσλαμβάνονται από MTurk είναι υλικοτεχνική: επιτρέπουν στους ερευνητές να προσλάβει συμμετέχοντες γρήγορα και ανάλογα με τις ανάγκες. Εκτιμώντας εργαστήριο πειραμάτων μπορεί να χρειαστούν εβδομάδες για να τρέξει και πειράματα πεδίου μπορεί να πάρει μήνες για να set-up, πειράματα με τους συμμετέχοντες που προσλαμβάνονται από MTurk μπορεί να τρέξει σε ημέρες. Για παράδειγμα, Berinsky, Huber, and Lenz (2012) ήταν σε θέση να προσλάβει 400 άτομα σε μία μέρα για να συμμετάσχουν σε ένα πείραμα 8 λεπτά. Επιπλέον, αυτοί οι συμμετέχοντες μπορούν να προσληφθούν για σχεδόν οποιοδήποτε σκοπό (συμπεριλαμβανομένων των ερευνών και της μαζικής συνεργασίας, όπως αναφέρεται στα κεφάλαια 3 και 5). Αυτή η ευκολία της πρόσληψης σημαίνει ότι οι ερευνητές μπορούν να τρέξουν ακολουθίες των σχετικών πειραμάτων σε γρήγορη διαδοχή.

Πριν από την πρόσληψη των συμμετεχόντων από MTurk για τη δική σας πειράματα, υπάρχουν τέσσερα σημαντικά πράγματα που πρέπει να ξέρετε. Κατ 'αρχάς, πολλοί ερευνητές έχουν μια μη ειδική σκεπτικισμό των πειραμάτων που αφορούν Turkers. Επειδή αυτό σκεπτικισμός δεν είναι συγκεκριμένες, είναι δύσκολο να αντιμετωπίσει με αποδείξεις. Ωστόσο, μετά από αρκετά χρόνια μελέτες που χρησιμοποιούν Turkers, μπορούμε τώρα να συμπεράνουμε ότι αυτό σκεπτικισμός δεν είναι ιδιαίτερα απαραίτητη. Έχουν υπάρξει πολλές μελέτες που συγκρίνουν τα δημογραφικά στοιχεία των Turkers σε άλλους πληθυσμούς και πολλές μελέτες που συγκρίνουν τα αποτελέσματα των πειραμάτων με Turkers με τα αποτελέσματα από άλλους πληθυσμούς. Δεδομένου όλο αυτό το έργο, πιστεύω ότι ο καλύτερος τρόπος για να το σκεφτώ είναι ότι Turkers είναι ικανό δείγμα ευκολίας, όπως και οι μαθητές, αλλά ελαφρώς πιο ποικιλόμορφη (Berinsky, Huber, and Lenz 2012) . Έτσι, όπως ακριβώς και οι μαθητές είναι μια λογική πληθυσμού για ορισμένους, αλλά όχι όλα πειραματική έρευνα, Turkers είναι μια λογική πληθυσμού για ορισμένους, αλλά δεν είναι όλα της έρευνας. Εάν πρόκειται να συνεργαστεί με Turkers, τότε είναι λογικό να διαβάσει πολλές από αυτές τις συγκριτικές μελέτες και να κατανοήσουν τις αποχρώσεις τους.

Δεύτερον, οι ερευνητές έχουν αναπτύξει βέλτιστες πρακτικές για την αύξηση της εσωτερικής εγκυρότητας των πειραμάτων Turk, και θα πρέπει να μάθουν και να ακολουθήσουν αυτές τις βέλτιστες πρακτικές (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Για παράδειγμα, οι ερευνητές χρησιμοποιούν Turkers ενθαρρύνονται να χρησιμοποιούν κόσκινα για να αφαιρέσετε απρόσεκτοι συμμετέχοντες (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (αλλά βλέπε επίσης DJ Hauser and Schwarz (2015b) και DJ Hauser and Schwarz (2015a) ). Αν δεν αφαιρέσετε απρόσεκτοι συμμετέχοντες, τότε οποιαδήποτε επίδραση της θεραπείας μπορεί να πλυθεί από το θόρυβο εισάγονται από απρόσεκτοι συμμετέχοντες, όσο και στην πράξη ο αριθμός των απρόσεκτοι συμμετεχόντων μπορεί να είναι σημαντικές. Στο πείραμα του Huber και οι συνεργάτες του (2012) περίπου το 30% των συμμετεχόντων απέτυχε βασικές κόσκινα προσοχή. Ένα άλλο κοινό πρόβλημα με Turkers δεν είναι αφελής συμμετέχοντες (Chandler et al. 2015) .

Τρίτον, σε σχέση με κάποιες άλλες μορφές ψηφιακής πειράματα, τα πειράματα δεν μπορούν να MTurk κλίμακα? Stewart et al. (2015) εκτιμά ότι σε κάθε δεδομένη στιγμή υπάρχουν μόνο περίπου 7.000 άτομα στην MTurk.

Τέλος, θα πρέπει να γνωρίζετε ότι MTurk είναι μια κοινότητα με δικούς της κανόνες και νόρμες της (Mason and Suri 2012) . Με τον ίδιο τρόπο που θα προσπαθήσετε να μάθετε για τον πολιτισμό μιας χώρας, όπου επρόκειτο να τρέξει τα πειράματα σας, θα πρέπει να προσπαθήσετε να μάθετε περισσότερα για τον πολιτισμό και τους κανόνες της Turkers (Salehi et al. 2015) . Και, θα πρέπει να γνωρίζετε ότι οι Turkers θα πρέπει να μιλάμε για το πείραμά σας, αν κάνετε κάτι ακατάλληλο ή ανήθικο (Gray et al. 2016) .

MTurk είναι ένα απίστευτα βολικός τρόπος για να προσλάβει τους συμμετέχοντες στα πειράματα σας, είτε πρόκειται για εργαστήριο-όπως, όπως Huber, Hill, and Lenz (2012) , ή περισσότερο χώρο-όπως, όπως Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , και Mao et al. (2016) .

• Φτιάξτε το δικό σας προϊόν (Ενότητα 4.5.1.3)

Αν σκέφτεστε να προσπαθούν να δημιουργήσετε το δικό σας προϊόν, σας συνιστώ να διαβάσετε τις συμβουλές που προσφέρονται από την ομάδα MovieLens στο Harper and Konstan (2015) . Μια βασική γνώση από την εμπειρία τους είναι ότι για κάθε επιτυχημένο έργο υπάρχουν πολλές, πολλές αποτυχίες. Για παράδειγμα, η ομάδα MovieLens ξεκίνησε άλλα προϊόντα, όπως GopherAnswers που ήταν πλήρεις αποτυχίες (Harper and Konstan 2015) . Ένα άλλο παράδειγμα ενός ερευνητή αποτυχία, ενώ προσπαθεί να χτίσει ένα προϊόν είναι η προσπάθεια Edward Castronova να οικοδομήσουμε ένα online παιχνίδι που ονομάζεται Arden. Παρά τις $ 250.000 στη χρηματοδότηση, το έργο ήταν μια αποτυχία (Baker 2008) . Έργα όπως GopherAnswers και Arden είναι, δυστυχώς, πολύ πιο συχνή από ό, έργα όπως MovieLens. Τέλος, όταν είπα ότι δεν ήξερα οποιωνδήποτε άλλων ερευνητών που είχαν με επιτυχία κατασκευαστεί προϊόντα για επαναλαμβανόμενες πειραματισμό εδώ είναι δικά μου κριτήρια: 1) Οι συμμετέχοντες χρησιμοποιούν το προϊόν, λόγω του ό, τι τους παρέχει (π.χ., είναι αυτοί που δεν έχουν καταβληθεί και δεν είναι εθελοντές βοηθώντας επιστήμη) και 2) το προϊόν έχει χρησιμοποιηθεί για περισσότερα από ένα διακριτό πείραμα (δηλαδή, όχι το ίδιο πείραμα πολλές φορές με διαφορετικές πισίνες συμμετέχοντα). Αν γνωρίζετε άλλα παραδείγματα, παρακαλώ επιτρέψτε μου να ξέρω.

• Εταίρος με το ισχυρό (Ενότητα 4.5.2)

Έχω ακούσει την ιδέα της Quadrant Pasteur συζήτησαν συχνά σε εταιρείες τεχνολογίας, και αυτό βοηθά στην οργάνωση των ερευνητικών προσπαθειών σε Google (Spector, Norvig, and Petrov 2012) .

Ομολόγων και τη μελέτη των συναδέλφων » (2012) επιχειρεί επίσης να ανιχνεύσει την επίδραση αυτών των θεραπειών για τους φίλους αυτών που τα παρέλαβε. Λόγω του σχεδιασμού του πειράματος, οι διαχύσεις είναι δύσκολο να ανιχνευθούν καθαρά? ενδιαφερόμενοι αναγνώστες πρέπει να δείτε Bond et al. (2012) για μια πιο διεξοδική συζήτηση. Αυτό το πείραμα αποτελεί μέρος μιας μακράς παράδοσης των πειραμάτων στην πολιτική επιστήμη σχετικά με τις προσπάθειες για την ενθάρρυνση της ψήφου (Green and Gerber 2015) . Αυτά τα πειράματα get-out-ο-ψηφοφορίας είναι κοινά εν μέρει επειδή είναι στο τεταρτημόριο του Pasteur. Δηλαδή, υπάρχουν πολλοί άνθρωποι που έχουν κίνητρα για την αύξηση της ψήφου και της ψηφοφορίας μπορεί να είναι μια ενδιαφέρουσα συμπεριφορά για να δοκιμάσετε πιο γενικές θεωρίες για αλλαγή συμπεριφοράς και την κοινωνική επιρροή.

Άλλοι ερευνητές έχουν παράσχει συμβουλές σχετικά με την εκτέλεση πειραμάτων πεδίου με οργανισμούς-εταίρους, όπως τα πολιτικά κόμματα, ΜΚΟ και επιχειρήσεις (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Άλλοι έχουν προσφέρει συμβουλές σχετικά με το πώς συνεργασίες με οργανώσεις μπορούν να επηρεάσουν την έρευνα σχέδια (Green, Calfano, and Aronow 2014; King et al. 2007) . Εταιρική σχέση μπορεί επίσης να οδηγήσει σε ηθικά ζητήματα (Humphreys 2015; Nickerson and Hyde 2016) .

• Συμβουλές σχεδιασμού (ενότητα 4.6)

Αν πρόκειται να δημιουργήσετε ένα σχέδιο ανάλυσης πριν από την εκτέλεση του πειράματος, σας προτείνω να ξεκινήσετε από την ανάγνωση κατευθυντήριες γραμμές για την υποβολή εκθέσεων. Το CONSORT (Ενοποιημένη Πρότυπο Αναφοράς του Trials) οι οδηγίες αναπτύχθηκαν στην ιατρική (Schulz et al. 2010) και να τροποποιηθούν για την κοινωνική έρευνα (Mayo-Wilson et al. 2013) . Μια σχετική σειρά κατευθυντήριων γραμμών έχει αναπτυχθεί από τους συντάκτες του περιοδικού Journal of Experimental Πολιτικών Επιστημών (Gerber et al. 2014) (βλέπε επίσης Mutz and Pemantle (2015) και Gerber et al. (2015) ). Τέλος, οι κατευθυντήριες γραμμές για την υποβολή εκθέσεων έχουν αναπτυχθεί στην ψυχολογία (Group 2008) , και βλέπε επίσης Simmons, Nelson, and Simonsohn (2011) .

Εάν δημιουργήσετε ένα σχέδιο ανάλυσης θα πρέπει να εξετάσει την προ-εγγραφή επειδή προεγγραφής θα αυξήσει την εμπιστοσύνη που άλλοι έχουν στα αποτελέσματά σας. Περαιτέρω, εάν εργάζεστε με έναν εταίρο, θα περιορίσει την ικανότητα του συντρόφου σας για να αλλάξετε την ανάλυση μετά από να δει τα αποτελέσματα. Προ-εγγραφή γίνεται όλο και πιο κοινή στην ψυχολογία (Nosek and Lakens 2014) , η πολιτική επιστήμη (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , και την οικονομία (Olken 2015) .

Κατά τη δημιουργία σχεδίου προ-ανάλυσή σας θα πρέπει να γνωρίζετε ότι ορισμένοι ερευνητές χρησιμοποιούν επίσης παλινδρόμησης και των σχετικών προσεγγίσεων για τη βελτίωση της ακρίβειας της εκτιμώμενης επίδραση της θεραπείας, και υπάρχει κάποια συζήτηση σχετικά με αυτή την προσέγγιση: Freedman (2008) , Lin (2013) , και Berk et al. (2013) ? δείτε Bloniarz et al. (2016) για περισσότερες πληροφορίες.

Σχεδιασμός συμβουλές ειδικά για τα πειράματα σε απευθείας σύνδεση τομέα παρουσιάζεται επίσης στο Konstan and Chen (2007) και Chen and Konstan (2015) .

• Δημιουργήστε το μηδέν δεδομένα μεταβλητού κόστους (Ενότητα 4.6.1)

Για περισσότερες πληροφορίες σχετικά με τα πειράματα MusicLab, δείτε Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , και Salganik (2007) . Για περισσότερες πληροφορίες σχετικά νικητής τα παίρνει όλες τις αγορές, δείτε Frank and Cook (1996) . Για περισσότερες πληροφορίες σχετικά με ξεμπέρδεμα τύχη και την ικανότητα γενικότερα, δείτε Mauboussin (2012) , Watts (2012) , και Frank (2016) .

Υπάρχει και μια άλλη προσέγγιση για την εξάλειψη των πληρωμών συμμετέχοντα που οι ερευνητές θα πρέπει να χρησιμοποιούν με προσοχή: στρατολογία. Σε πολλά πειράματα σε απευθείας σύνδεση πεδίο συμμετέχοντες βασικά συνταχθεί σε πειράματα και ποτέ δεν αποζημιώνονται. Παραδείγματα αυτής της προσέγγισης περιλαμβάνουν Restivo και van de Rijt του (2012) πείραμα για ανταμοιβές στη Wikipedia και Bond και ο συνάδελφός του (2012) πείραμα για την ενθάρρυνση των πολιτών να ψηφίσουν. Αυτά τα πειράματα δεν έχουν πραγματικά μηδενικό μεταβλητό κόστος, έχουν μηδενικό μεταβλητό κόστος για τους ερευνητές. Ακόμα κι αν το κόστος πολλών από αυτά τα πειράματα είναι εξαιρετικά μικρό για κάθε συμμετέχοντα, μικρό κόστος που επιβάλλεται ένας τεράστιος αριθμός των συμμετεχόντων μπορεί να προσθέσει επάνω γρήγορα. Ερευνητές τρέχει μαζική απευθείας σύνδεση πειράματα συχνά δικαιολογεί τη σημασία των μικρών εκτιμώμενα αποτελέσματα της θεραπείας, λέγοντας ότι αυτές οι μικρές επιδράσεις μπορούν να γίνουν σημαντικά όταν εφαρμόζεται σε πολλούς ανθρώπους. Το ίδιο ακριβώς σκεπτικό ισχύει και για τα έξοδα που τους ερευνητές να επιβάλει στους συμμετέχοντες. Αν τα πειράματα σας προκαλεί ένα εκατομμύριο ανθρώπους να σπαταλήσουν ένα λεπτό, το πείραμα δεν είναι πολύ επιβλαβής για κάποιο συγκεκριμένο πρόσωπο, αλλά το συνολικό ποσό που έχει χάσει σχεδόν δύο χρόνια από το χρόνο.

Μια άλλη προσέγγιση για τη δημιουργία πληρωμής μηδενικό μεταβλητό κόστος για τους συμμετέχοντες είναι να χρησιμοποιήσετε μια λαχειοφόρο αγορά, μια προσέγγιση που έχει χρησιμοποιηθεί επίσης στην έρευνα έρευνα (Halpern et al. 2011) . Τέλος, για περισσότερες πληροφορίες σχετικά σχεδιασμό απολαυστική χρήστη εμπειρίες δείτε Toomim et al. (2011) .

• Αντικαταστήστε, Σύνθετη, και να μειώσει (Ενότητα 4.6.2)

Εδώ είναι οι αρχικοί ορισμοί των τριών R, από την Russell and Burch (1959) :

"Αντικατάσταση σημαίνει την αντικατάσταση για συνειδητή ζουν ανώτερα ζώα της αναίσθητος υλικό. Μείωση σημαίνει μείωση του αριθμού των ζώων που χρησιμοποιούνται για τη λήψη πληροφοριών από δεδομένη ποσότητα και ακρίβεια. Φινέτσα σημαίνει οποιαδήποτε μείωση στη συχνότητα ή τη σοβαρότητα των απάνθρωπες διαδικασίες που εφαρμόζονται σε αυτά τα ζώα, τα οποία πρέπει να συνεχίσουν να χρησιμοποιούνται. "

Τα τρία R είναι που προτείνω δεν αντικαθιστούν τις ηθικές αρχές που περιγράφονται στο Κεφάλαιο 6. Μάλλον, είναι μια πιο επεξεργασμένη εκδοχή μία από αυτές τις αρχές-ευεργεσίας-ειδικά για τη ρύθμιση των ανθρώπινων πειραμάτων.

Κατά την εξέταση Συναισθηματική Contagion, υπάρχουν τρεις μη-ηθικά ζητήματα που πρέπει να θυμάστε κατά την ερμηνεία αυτού του πειράματος. Κατ 'αρχάς, δεν είναι σαφές πώς οι πραγματικές λεπτομέρειες του πειράματος σύνδεση με τις θεωρητικές αξιώσεις? Με άλλα λόγια, υπάρχουν ερωτήματα σχετικά με το κύρος κατασκεύασμα. Δεν είναι σαφές ότι οι θετικές και αρνητικές μετράει λέξη είναι πραγματικά ένας καλός δείκτης της συναισθηματικής κατάστασης των συμμετεχόντων, γιατί 1) δεν είναι σαφές ότι οι λέξεις που οι άνθρωποι δημοσιεύσετε είναι ένας καλός δείκτης των συναισθημάτων τους και 2) δεν είναι σαφές ότι η συγκεκριμένη τεχνική ανάλυση συναίσθημα που χρησιμοποιούνται οι ερευνητές είναι σε θέση να συμπεράνουμε αξιόπιστα συναισθήματα (Beasley and Mason 2015; Panger 2016) . Με άλλα λόγια, θα μπορούσε να υπάρχει ένα κακό μέτρο της προκατειλημμένη σήματος. Δεύτερον, ο σχεδιασμός και η ανάλυση του πειράματος δεν μας λέει τίποτα για το ποιος ήταν πιο κρούση (δηλαδή, δεν υπάρχει ανάλυση της ετερογένειας των αποτελεσμάτων της θεραπείας) και τι θα μπορούσε να είναι ο μηχανισμός. Στην περίπτωση αυτή, οι ερευνητές είχαν πολλές πληροφορίες σχετικά με τους συμμετέχοντες, αλλά ήταν ουσιαστικά αντιμετωπίζονται ως widgets στην ανάλυση. Τρίτον, το μέγεθος της επίδρασης σε αυτό το πείραμα ήταν πολύ μικρή? η διαφορά μεταξύ των όρων θεραπεία και τον έλεγχο είναι περίπου 1 στα 1.000 λέξεις. Στην εργασία τους, Kramer και οι συνεργάτες του κάνουν την υπόθεση ότι η επίδραση αυτού του μεγέθους είναι σημαντικό γιατί εκατοντάδες εκατομμύρια άνθρωποι έχουν πρόσβαση News Feed τους κάθε μέρα. Με άλλα λόγια, υποστηρίζουν ότι ακόμη και αποτελέσματα που είναι μικρό για κάθε πρόσωπο που είναι μεγάλα αθροιστικά. Ακόμα κι αν ήταν να δεχθεί το επιχείρημα αυτό, δεν είναι ακόμη σαφές εάν η επίδραση αυτού του μεγέθους είναι σημαντικό όσον αφορά τη γενικότερη επιστημονική ερώτηση σχετικά με τη συναισθηματική μετάδοση. Για περισσότερες πληροφορίες σχετικά με τις περιπτώσεις όπου οι μικρές επιδράσεις είναι σημαντικές δείτε Prentice and Miller (1992) .

Όσον αφορά το πρώτο R (αντικατάσταση), συγκρίνοντας την Συναισθηματική πείραμα Contagion (Kramer, Guillory, and Hancock 2014) και τη συναισθηματική μετάδοση φυσικό πείραμα (Coviello et al. 2014) προσφέρει μερικές γενικές μαθήματα σχετικά με τα ανταλλάγματα που ασχολούνται με τη μετάβαση από πειράματα σε φυσικά πειράματα (και άλλες προσεγγίσεις, όπως ταιριάζουν με τη συγκεκριμένη προσπάθεια για την προσέγγιση των πειραμάτων σε μη πειραματικά δεδομένα, βλέπε κεφάλαιο 2). Εκτός από τα ηθικά οφέλη, η μετάβαση από την πειραματική να μη πειραματικές μελέτες δίνει επίσης τη δυνατότητα στους ερευνητές να μελετήσουν τις θεραπείες που είναι εφοδιαστικά σε θέση να αναπτύξετε. Αυτά τα ηθικά και υλικοτεχνικές παροχές έχουν κάποιο κόστος, όμως. Με φυσική πειράματα οι ερευνητές έχουν λιγότερο έλεγχο πράγματα όπως στρατολόγηση των συμμετεχόντων, τυχαιοποίηση, και τη φύση της θεραπείας. Για παράδειγμα, ένας περιορισμός των βροχοπτώσεων ως θεραπεία είναι ότι και οι δύο αυξάνει θετικότητα και μειώνει την αρνητικότητα. Στην πειραματική μελέτη, ωστόσο, Kramer και οι συνεργάτες του ήταν σε θέση να προσαρμόσει θετικότητα και η αρνητικότητα ανεξάρτητα.

Η συγκεκριμένη προσέγγιση που χρησιμοποιείται από Coviello et al. (2014) αναπτύχθηκε περαιτέρω στην Coviello, Fowler, and Franceschetti (2014) . Για μια εισαγωγή στην instrumental μεταβλητές δείτε Angrist and Pischke (2009) (λιγότερο επίσημο) ή Angrist, Imbens, and Rubin (1996) (πιο επίσημα). Για μια σκεπτικοί εκτίμηση των instrumental μεταβλητών δείτε Deaton (2010) , και για μια εισαγωγή σε βοηθητικές μεταβλητές με αδύναμα μέσα (βροχή είναι ένα αδύναμο όργανο), βλέπε Murray (2006) .

Γενικότερα, μια καλή εισαγωγή για το φυσικό πειράματα είναι Dunning (2012) , και Rosenbaum (2002) , Rosenbaum (2009) , και Shadish, Cook, and Campbell (2001) προσφέρουν καλές ιδέες για την εκτίμηση αιτιώδους συνάφειας χωρίς πειράματα.

Όσον αφορά το δεύτερο R (βελτίωση), υπάρχουν επιστημονική και υλικοτεχνική συμβιβασμούς όταν εξετάζουν την αλλαγή του σχεδιασμού της συναισθηματικής Contagion από το κλείδωμα θέσεις για την ενίσχυση της θέσεις. Για παράδειγμα, μπορεί να είναι η περίπτωση που η τεχνική εφαρμογή του News Feed καθιστά ουσιαστικά είναι ευκολότερο να κάνουμε ένα πείραμα με μπλοκάρισμα μηνυμάτων και όχι ένα πείραμα με την ενίσχυση των δημοσιεύσεων (σημειώστε ότι ένα πείραμα με τον αποκλεισμό των μηνυμάτων θα μπορούσε να εφαρμοστεί ως ένα στρώμα σε πάνω μέρος του συστήματος News Feed χωρίς οποιαδήποτε ανάγκη για αλλαγές του υποκείμενου συστήματος). Επιστημονικά, όμως, η θεωρία αντιμετωπιστούν από το πείραμα δεν δείχνουν σαφώς ένα σχέδιο πάνω στο άλλο.

Δυστυχώς, δεν είμαι επίγνωση του σημαντικού προηγούμενη έρευνα σχετικά με τα συγκριτικά πλεονεκτήματα του αποκλεισμού και την ενίσχυση του περιεχομένου στο News Feed. Επίσης, δεν έχω δει μεγάλο μέρος της έρευνας για το ραφινάρισμα θεραπείες ώστε να καταστούν λιγότερο επιβλαβή? Μόνη εξαίρεση αποτελεί Jones and Feamster (2015) , η οποία εξετάζει την περίπτωση της μέτρησης της λογοκρισίας στο Internet (ένα θέμα που συζητούν στο Κεφάλαιο 6 σε σχέση με τη μελέτη Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Όσον αφορά την τρίτη R (Μείωση), μια καλή εισαγωγή στην παραδοσιακή ανάλυση δύναμη είναι Cohen (1988) . συμμεταβλητές Προεπεξεργασία μπορούν να συμπεριληφθούν στο στάδιο του σχεδιασμού και το στάδιο της ανάλυσης των πειραμάτων? Κεφάλαιο 4 της Gerber and Green (2012) παρέχει μια καλή εισαγωγή για τις δύο προσεγγίσεις, και Casella (2008) παρέχει μια θεραπεία σε βάθος. Οι τεχνικές που χρησιμοποιούν αυτές τις πληροφορίες για προ-επεξεργασία στην τυχαιοποίηση συνήθως ονομάζεται είτε μπλοκάρει πειραματικά σχέδια ή στρωματοποιημένη πειραματικά σχέδια (η ορολογία δεν χρησιμοποιείται με συνέπεια σε όλη κοινότητες)? Οι τεχνικές αυτές είναι βαθιά σχετίζονται με τις στρωματοποιημένης δειγματοληψίας τεχνικές που συζητούνται στο Κεφάλαιο 3. Βλέπε Higgins, Sävje, and Sekhon (2016) για περισσότερες πληροφορίες σχετικά με τη χρήση αυτών των σχεδίων σε μαζική πειράματα. Συμμεταβλητές Προ-θεραπεία μπορεί επίσης να συμπεριληφθούν στο στάδιο της ανάλυσης. McKenzie (2012) διερευνά την προσέγγιση διαφορά-σε-διαφορές στην ανάλυση πειράματα πεδίου με μεγαλύτερη λεπτομέρεια. Δείτε Carneiro, Lee, and Wilhelm (2016) για περισσότερες πληροφορίες σχετικά με τις συμβιβασμών μεταξύ των διαφόρων προσεγγίσεων για την αύξηση της ακρίβειας των εκτιμήσεων των αποτελεσμάτων της θεραπείας. Τέλος, όταν αποφασίζουν αν θα προσπαθήσει να συμπεριλάβει συμπαράγοντες προ-θεραπεία στο στάδιο του σχεδιασμού ή της ανάλυσης (ή και τα δύο), υπάρχουν μερικοί παράγοντες που εξετάζουν. Σε ένα περιβάλλον όπου οι ερευνητές θέλουν να αποδείξουν ότι δεν είναι "ψάρεμα" (Humphreys, Sierra, and Windt 2013) , χρησιμοποιώντας συμπαράγοντες προεπεξεργασία στο στάδιο του σχεδιασμού μπορεί να είναι χρήσιμη (Higgins, Sävje, and Sekhon 2016) . Σε περιπτώσεις όπου οι συμμετέχοντες φτάνουν διαδοχικά, πειράματα ειδικά σε απευθείας σύνδεση τομέα, χρησιμοποιώντας τις πληροφορίες προεπεξεργασία στο στάδιο του σχεδιασμού μπορεί να είναι δύσκολο εφοδιαστικά, βλέπε για παράδειγμα Xie and Aurisset (2016) .

Αξίζει να προστεθεί ένα κομμάτι της διαίσθησης σχετικά με το γιατί η διαφορά-σε-διαφορές μπορεί να είναι τόσο πολύ πιο αποτελεσματική από ό, τι η διαφορά-σε-μέσα. Πολλές σε απευθείας σύνδεση αποτελέσματα έχουν πολύ υψηλή διακύμανση (βλέπε π.χ., Lewis and Rao (2015) και Lamb et al. (2015) ) και είναι σχετικά σταθερή κατά τη διάρκεια του χρόνου. Σε αυτήν την περίπτωση, ο όρος αλλαγή θα έχει ουσιαστικά μικρότερη διακύμανση, αυξάνοντας την ισχύ της στατιστικής δοκιμής. Ένας λόγος αυτός προσεγγίζεται δεν χρησιμοποιείται πιο συχνά είναι ότι πριν από την ψηφιακή εποχή δεν ήταν σύνηθες να έχουν αποτελέσματα προ-αγωγής. Ένα πιο συγκεκριμένο τρόπο για να το σκεφτώ είναι να φανταστούμε ένα πείραμα για να εκτιμηθεί αν μια συγκεκριμένη ρουτίνα άσκησης προκαλεί απώλεια βάρους. Αν κάνετε μια προσέγγιση διαφορά-σε-μέσα, εκτίμηση σας θα έχει μεταβλητότητα που προέρχεται από τη μεταβλητότητα στο βάρος του πληθυσμού. Αν κάνετε μια προσέγγιση διαφορά-σε-διαφορά, ωστόσο, ότι φυσικά διακύμανση των βαρών παίρνει αφαιρεθεί και να μπορείτε πιο εύκολα να εντοπίσει τη διαφορά που προκαλείται από τη θεραπεία.

Ένας σημαντικός τρόπος για να μειωθεί ο αριθμός των συμμετεχόντων στο πείραμά σας είναι να προβεί σε ανάλυση της ισχύος, η οποία Kramer και οι συνεργάτες του θα μπορούσε να γίνει με βάση τα μεγέθη επίδρασης που παρατηρήθηκαν από το φυσικό πείραμα με Coviello et al. (2014) ή νωρίτερα μη πειραματική έρευνα από Kramer (2012) (στην πραγματικότητα πρόκειται για δραστηριότητες στο τέλος αυτού του κεφαλαίου). Παρατηρήστε ότι αυτή η χρήση της ανάλυσης δύναμης είναι λίγο διαφορετική από ό, τι τυπικό. Στην αναλογική εποχή, οι ερευνητές έκαναν γενικά ανάλυση δύναμη για να βεβαιωθείτε ότι η μελέτη τους δεν ήταν πάρα πολύ μικρό (δηλαδή, κάτω-powered). Τώρα, όμως, οι ερευνητές θα πρέπει να κάνει την ανάλυση δύναμη για να βεβαιωθείτε ότι η μελέτη τους δεν είναι πολύ μεγάλη (δηλαδή, πάνω-powered).

Τέλος, θεωρείται ότι η προσθήκη ενός τέταρτου R: Χρησιμοποιήστε εκ. Δηλαδή, αν οι ερευνητές να βρεθούν με περισσότερα πειραματικά δεδομένα από όσα χρειάζονται για να αντιμετωπίσουν την αρχική έρευνά τους θέμα, θα πρέπει να επαναπροσδιορίσουν τα δεδομένα να ζητήσει νέα ερωτήματα. Για παράδειγμα, φανταστείτε ότι Kramer και οι συνεργάτες του χρησιμοποίησαν ένα εκτιμητή διαφορά-σε-διαφορές και βρέθηκαν με περισσότερα δεδομένα από ό, τι απαιτείται για την αντιμετώπιση της έρευνάς τους ερώτηση. Αντί δεν χρησιμοποιούν τα δεδομένα στο μέγιστο βαθμό, θα μπορούσαν να έχουν μελετήσει το μέγεθος του αποτελέσματος ως λειτουργία να προ-θεραπεία συναισθηματική έκφραση. Ακριβώς όπως Schultz et al. (2007) διαπίστωσαν ότι η επίδραση της θεραπείας ήταν διαφορετική για τα ελαφρά και βαρέα χρήστες, ίσως τα αποτελέσματα του News Feed ήταν διαφορετικά για τους ανθρώπους που ήδη είχαν την τάση να δημοσιεύσετε ευτυχής (ή θλιβερή) μηνύματα. Αναπροσανατολισμό θα μπορούσε να οδηγήσει σε "ψάρεμα" (Humphreys, Sierra, and Windt 2013) και το "ρ-hacking" (Simmons, Nelson, and Simonsohn 2011) , αλλά αυτά είναι σε μεγάλο βαθμό να απευθυνθεί με ένα συνδυασμό ειλικρινής αναφοράς (Simmons, Nelson, and Simonsohn 2011) , προ-εγγραφής (Humphreys, Sierra, and Windt 2013) , και τις μεθόδους μηχανικής μάθησης που επιχειρούν να αποφευχθεί η υπερβολική τοποθέτηση.