4.3 Δύο διαστάσεις των πειραμάτων: lab-πεδίου και αναλογικό σε ψηφιακό

Εργαστηριακά πειράματα προσφέρουν τον έλεγχο, πειράματα πεδίου προσφέρει ρεαλισμό, και πειράματα ψηφιακό τομέα συνδυάζουν τον έλεγχο και ρεαλισμό σε κλίμακα.

Πειράματα έρχονται σε πολλά διαφορετικά σχήματα και μεγέθη. Όμως, παρά τις διαφορές αυτές, οι ερευνητές έχουν διαπιστώσει ότι είναι χρήσιμο να οργανώσει πειράματα κατά μήκος μιας συνέχειας μεταξύ εργαστηριακά πειράματα και πειράματα πεδίου. Τώρα, όμως, οι ερευνητές θα πρέπει επίσης να οργανώνουν πειράματα κατά μήκος μιας συνέχειας μεταξύ αναλογικών και ψηφιακών πειράματα πειράματα. Αυτό το δισδιάστατο χώρο του σχεδιασμού θα σας βοηθήσει να κατανοήσουν τα πλεονεκτήματα και τις αδυναμίες των διαφορετικών προσεγγίσεων και προτείνουν περιοχές της μεγαλύτερη ευκαιρία (Σχήμα 4.1).

Σχήμα 4.1: Σχηματική χώρο του σχεδιασμού για πειράματα. Στο παρελθόν, τα πειράματα ποικίλουν κατά τη διάσταση lab-πεδίου. Τώρα, μπορούν επίσης να ποικίλουν στην αναλογική-ψηφιακή διάσταση. Κατά τη γνώμη μου, η περιοχή της μεγαλύτερη ευκαιρία είναι πειράματα ψηφιακό τομέα.

Στο παρελθόν, ο κύριος τρόπος που οι ερευνητές οργανώνονται τα πειράματα ήταν κατά τη διάσταση lab-πεδίου. Η πλειοψηφία των πειραμάτων στις κοινωνικές επιστήμες είναι εργαστήριο πειράματα όπου οι προπτυχιακοί φοιτητές εκτελούν παράξενο εργασίες σε ένα εργαστήριο για την πορεία της πιστοληπτικής ικανότητας. Αυτό το είδος του πειράματος κυριαρχεί έρευνας στην ψυχολογία, διότι επιτρέπει στους ερευνητές να δημιουργήσουν πολύ συγκεκριμένες θεραπείες έχουν στόχο να δοκιμάσουν πολύ συγκεκριμένες θεωρίες σχετικά με την κοινωνική συμπεριφορά. Για ορισμένα προβλήματα, ωστόσο, κάτι αισθάνεται λίγο περίεργα για την κατάρτιση ισχυρά συμπεράσματα σχετικά με την ανθρώπινη συμπεριφορά από τέτοια ασυνήθιστη ανθρώπους που εκτελούν τέτοιες ασυνήθιστες εργασίες σε μια τέτοια ασυνήθιστη ρύθμιση. Οι ανησυχίες αυτές έχουν οδηγήσει σε μια κίνηση προς τα πειράματα πεδίου. πειράματα στον τομέα συνδυάζουν την ισχυρή σχεδιασμό των πειραμάτων τυχαιοποιημένη ελέγχου με πιο αντιπροσωπευτικές ομάδες των συμμετεχόντων, την εκτέλεση πιο συνηθισμένες εργασίες, σε πιο φυσικό περιβάλλον.

Αν και μερικοί άνθρωποι σκέφτονται εργαστηρίου και πεδίου πειράματα ως ανταγωνιστικές μεθόδους, το καλύτερο είναι να σκεφτείτε τους ως συμπληρωματικές μεθόδους με διαφορετικά πλεονεκτήματα και αδυναμίες. Για παράδειγμα, Correll, Benard, and Paik (2007) χρησιμοποιείται τόσο εργαστηριακό πείραμα και ένα πείραμα πεδίου, σε μια προσπάθεια να βρει τις πηγές της «ποινής μητρότητα.» Στις Ηνωμένες Πολιτείες, οι μητέρες κερδίζουν λιγότερα χρήματα από ό, τι άτεκνες γυναίκες, ακόμα και όταν συγκρίνοντας τις γυναίκες με παρόμοιες δεξιότητες που εργάζονται σε παρόμοιες θέσεις εργασίας. Υπάρχουν πολλές πιθανές εξηγήσεις για αυτό το μοτίβο, και ένας είναι ότι οι εργοδότες προκατειλημμένη εναντίον μητέρων. (Είναι ενδιαφέρον, το αντίθετο φαίνεται να ισχύει και για τους πατέρες: τείνουν να κερδίζουν περισσότερα από ό, τι συγκρίσιμες οι άνδρες χωρίς παιδιά). Προκειμένου να αξιολογηθεί η πιθανή προκατάληψη εναντίον μητέρες, Correll και οι συνεργάτες του έτρεξαν δύο πειράματα: μία στο εργαστήριο και ένα στον τομέα.

Κατ 'αρχάς, σε ένα εργαστηριακό πείραμα Correll και οι συνεργάτες του στους συμμετέχοντες, οι οποίοι ήταν φοιτητές κολλεγίων, ότι ένα με έδρα την Καλιφόρνια νεοσύστατη εταιρεία επικοινωνιών είχε διεξάγει μια έρευνα για την απασχόληση για ένα άτομο για να οδηγήσει νέο τμήμα του μάρκετινγκ Ανατολική Ακτή. Οι μαθητές είπαν ότι η εταιρεία ήθελε τη βοήθειά τους κατά τη διαδικασία πρόσληψης και τους ζητήθηκε να επανεξετάσει βιογραφικά των περισσότερων υποψηφίων και να αξιολογήσουν τους υποψηφίους σε διάφορες διαστάσεις, όπως η νοημοσύνη τους, τη ζεστασιά και τη δέσμευση να εργαστούν. Επιπλέον, οι μαθητές ρωτήθηκαν αν θα προτείνουν την πρόσληψη του προσφεύγοντος και τι θα πρότεινα ως ένα αρχικό μισθό. Εν αγνοία τους μαθητές, ωστόσο, τα βιογραφικά ήταν ειδικά κατασκευασμένο για να είναι παρόμοια εκτός από ένα πράγμα: μερικά από τα βιογραφικά σηματοδότησε τη μητρότητα (με την απαρίθμηση συμμετοχή σε ένωση γονέων-εκπαιδευτικών) και κάποιες δεν το έκανε. Correll διαπίστωσε ότι οι μαθητές ήταν λιγότερο πιθανό να προτείνουν την πρόσληψη των μητέρων και τους πρόσφερε χαμηλότερο αρχικό μισθό. Επιπλέον, μέσα από μια στατιστική ανάλυση τόσο των αξιολογήσεων και των αποφάσεων πρόσληψης που σχετίζονται με Correll διαπίστωσε ότι τα μειονεκτήματα μητέρων εξηγούνται σε μεγάλο βαθμό από το γεγονός ότι οι μητέρες είχαν βαθμολογία χαμηλότερη από την άποψη της επάρκειας και της δέσμευσης. Με άλλα λόγια, Correll ισχυρίζεται ότι αυτά τα γνωρίσματα είναι ο μηχανισμός μέσω του οποίου οι μητέρες βρίσκονται σε μειονεκτική θέση. Έτσι, αυτό το πείραμα εργαστήριο επέτρεψε Correll και οι συνεργάτες του να μετρήσει ένα αποτέλεσμα συνάφεια και να προσφέρει μια πιθανή εξήγηση για το σκοπό αυτό.

Φυσικά, κάποιος θα μπορούσε να είναι επιφυλακτικοί σχετικά με την εξαγωγή συμπερασμάτων σχετικά με το σύνολο των ΗΠΑ για την αγορά εργασίας με βάση τις αποφάσεις του μερικές εκατοντάδες φοιτητές οι οποίοι έχουν πιθανότατα ποτέ δεν είχε μια πλήρους απασχόλησης εργασία, πόσο μάλλον προσέλαβε ανθρώπους. Ως εκ τούτου, Correll και οι συνεργάτες του πραγματοποίησαν επίσης ένα συμπληρωματικό πείραμα πεδίου. Οι ερευνητές απάντησε σε εκατοντάδες αγγελίες για θέσεις εργασίας με την αποστολή πλαστών συνοδευτικές επιστολές και βιογραφικά. Παρόμοια με τα υλικά που εμφανίζονται στους προπτυχιακούς φοιτητές, μερικοί βιογραφικά σηματοδότησε τη μητρότητα και μερικοί δεν το έκανε. Correll και οι συνεργάτες του διαπίστωσαν ότι οι μητέρες ήταν λιγότερο πιθανό να πάρει κάλεσε πίσω για συνεντεύξεις από τα ίδια προσόντα άτεκνες γυναίκες. Με άλλα λόγια, οι πραγματικοί εργοδότες κάνοντας επακόλουθες αποφάσεις σε ένα φυσικό περιβάλλον συμπεριφέρθηκε σαν τους προπτυχιακούς φοιτητές. Μήπως κάνουν παρόμοιες αποφάσεις για τον ίδιο λόγο; Δυστυχώς, δεν γνωρίζουμε. Οι ερευνητές δεν ήταν σε θέση να ζητήσει από τους εργοδότες να αξιολογήσουν τους υποψηφίους ή να εξηγήσει τις αποφάσεις τους.

Αυτό το ζευγάρι των πειραμάτων αποκαλύπτει πολλά για το εργαστήριο και το πεδίο των πειραμάτων σε γενικές γραμμές. Εργαστηριακά πειράματα προσφέρουν ερευνητές κοντά στο απόλυτο έλεγχο του περιβάλλοντος μέσα στο οποίο οι συμμετέχοντες λήψη αποφάσεων. Έτσι, για παράδειγμα, στο πείραμα εργαστήριο, Correll ήταν σε θέση να διασφαλίσει ότι όλα τα βιογραφικά είχαν διαβάσει σε ένα ήσυχο περιβάλλον? στο πείραμα πεδίο, κάποια από τα περιλήψεων μπορεί να μην έχουν καν διαβάσει. Περαιτέρω, επειδή οι συμμετέχοντες στη ρύθμιση εργαστήριο γνωρίζουν ότι βρίσκονται υπό μελέτη, οι ερευνητές είναι συχνά σε θέση να συλλέγουν πρόσθετα στοιχεία που μπορούν να τους βοηθήσουν να κατανοήσουν γιατί οι συμμετέχοντες λαμβάνουν τις αποφάσεις τους. Για παράδειγμα, Correll ζήτησε από τους συμμετέχοντες στο πείραμα εργαστήριο να αξιολογήσουν τους υποψηφίους σε διαφορετικές διαστάσεις. Αυτό το είδος των δεδομένων διεργασίας θα μπορούσε να βοηθήσει τους ερευνητές να κατανοήσουν τους μηχανισμούς πίσω από τις διαφορές στο πώς οι συμμετέχοντες αντιμετωπίζουν τα βιογραφικά.

Από την άλλη πλευρά, ακριβώς αυτά τα ίδια χαρακτηριστικά που μόλις περιγράφηκαν ως πλεονεκτήματα είναι επίσης μερικές φορές θεωρείται μειονεκτήματα. Οι ερευνητές που προτιμούν τα πειράματα στον τομέα υποστηρίζουν ότι οι συμμετέχοντες στα πειράματα εργαστήριο θα μπορούσε να λειτουργήσει πολύ διαφορετικά όταν είναι να παρακολουθούνται στενά. Για παράδειγμα, στο εργαστήριο οι συμμετέχοντες πείραμα θα μπορούσε να μαντέψει το στόχο της έρευνας και αλλάξει τη συμπεριφορά τους έτσι ώστε να μην εμφανίζονται προκατειλημμένη. Επιπλέον, οι ερευνητές οι οποίοι προτιμούν τα πειράματα πεδίου θα μπορούσε να υποστηριχθεί ότι οι μικρές διαφορές στις περιλήψεις μπορεί μόνο να ξεχωρίσει σε ένα πολύ καθαρό, αποστειρωμένο περιβάλλον εργαστηρίου, και έτσι το εργαστηριακό πείραμα θα υπερεκτιμούν την επίδραση της μητρότητας για τις αποφάσεις πραγματική πρόσληψη. Τέλος, πολλοί υποστηρικτές των πειραμάτων πεδίου επικρίνουν εργαστηριακά πειράματα της εξάρτησης από WEIRD συμμετέχοντες: κυρίως φοιτητές από τη Δυτική, μορφωμένοι, βιομηχανικές, Rich, και δημοκρατικές χώρες (Henrich, Heine, and Norenzayan 2010) . Τα πειράματα με Correll και οι συνεργάτες του (2007) απεικονίζουν τα δύο άκρα στο συνεχές εργαστηρίου τομέα. Στο μεταξύ αυτών των δύο άκρων υπάρχει μια ποικιλία από υβριδικά σχέδια, καθώς και προσεγγίσεις, όπως φέρνοντας μη-μαθητές σε ένα εργαστήριο ή πηγαίνοντας στο πεδίο, αλλά εξακολουθούν να έχουν οι συμμετέχοντες εκτελούν ένα ασυνήθιστο έργο.

Εκτός από τη διάσταση εργαστηρίου πεδίο που υπήρχε στο παρελθόν, η ψηφιακή εποχή σημαίνει ότι οι ερευνητές έχουν τώρα μια δεύτερη μεγάλη διάσταση κατά μήκος της οποίας τα πειράματα μπορεί να ποικίλει: αναλογικό σε ψηφιακό. Ακριβώς όπως υπάρχουν καθαρή εργαστηριακά πειράματα, τα πειράματα καθαρό πεδίο, και μια ποικιλία υβριδίων στο μεταξύ, υπάρχουν καθαρά αναλογική πειράματα, καθαρή ψηφιακή πειράματα, και μια ποικιλία από υβρίδια. Είναι δύσκολο να προσφέρει μια επίσημος ορισμός αυτής της διάστασης, αλλά ένα χρήσιμο ορισμός εργασίας είναι ότι η πλήρως ψηφιακή πειράματα είναι πειράματα που κάνουν χρήση των ψηφιακών υποδομών για την πρόσληψη των συμμετεχόντων, τυχαίο, προσφέρουν θεραπείες, και τη μέτρηση των αποτελεσμάτων. Για παράδειγμα, Restivo και van de Rijt του (2012) μελέτη της barnstars και Wikipedia ήταν ένα πλήρως ψηφιακό πείραμα, επειδή χρησιμοποιούνται ψηφιακά συστήματα για όλα τα τέσσερα από αυτά τα βήματα. Ομοίως πλήρως αναλογικά πειράματα είναι πειράματα τα οποία δεν κάνουν χρήση των ψηφιακών υποδομών για οποιοδήποτε από αυτά τα τέσσερα βήματα. Πολλά από τα κλασικά πειράματα στην ψυχολογία είναι αναλογικά πειράματα. Μεταξύ αυτών των δύο άκρων υπάρχουν μερικώς ψηφιακό πειράματα που χρησιμοποιούν ένα συνδυασμό των αναλογικών και ψηφιακών συστημάτων για τα τέσσερα στάδια.

Κριτικά, οι ευκαιρίες να τρέξει ψηφιακή πειράματα δεν είναι μόνο σε απευθείας σύνδεση. Οι ερευνητές μπορούν να τρέξουν εν μέρει ψηφιακή πειράματα με τη χρήση ψηφιακών συσκευών στον φυσικό κόσμο, προκειμένου να παραδώσει θεραπείες ή τη μέτρηση των αποτελεσμάτων. Για παράδειγμα, οι ερευνητές θα μπορούσαν να χρησιμοποιήσουν τα smart phones για την παροχή θεραπειών ή αισθητήρες στο δομημένο περιβάλλον για τη μέτρηση των αποτελεσμάτων. Στην πραγματικότητα, όπως θα δούμε αργότερα σε αυτό το κεφάλαιο, οι ερευνητές έχουν ήδη χρησιμοποιηθεί μέτρα οικιακού ρεύματος για τη μέτρηση των αποτελεσμάτων σε πειράματα σχετικά με τις κοινωνικές νόρμες και η κατανάλωση ενέργειας που περιλαμβάνει 8,5 εκατομμύρια των νοικοκυριών (Allcott 2015) . Όπως ψηφιακές συσκευές γίνονται όλο και πιο ολοκληρωμένα στη ζωή των ανθρώπων και των αισθητήρων να ενσωματωθούν στην δομημένο περιβάλλον, αυτές οι ευκαιρίες να τρέξει μερικώς ψηφιακή πειράματα στον φυσικό κόσμο θα αυξηθεί δραματικά. Με άλλα λόγια, η ψηφιακή πειράματα δεν είναι μόνο σε απευθείας σύνδεση πειράματα.

Ψηφιακά συστήματα δημιουργούν νέες δυνατότητες για πειράματα παντού κατά μήκος της συνεχούς εργαστηρίου τομέα. Σε καθαρά εργαστηριακά πειράματα, για παράδειγμα, οι ερευνητές μπορούν να χρησιμοποιήσουν ψηφιακά συστήματα μέτρησης λεπτότερες της συμπεριφοράς των συμμετεχόντων? ένα παράδειγμα αυτού του τύπου της βελτιωμένης μέτρησης είναι εξοπλισμός παρακολούθησης των ματιών η οποία παρέχει ακριβείς και συνεχή μέτρα για την τοποθεσία βλέμματος. Η ψηφιακή εποχή δημιουργεί επίσης τη δυνατότητα να τρέξει εργαστηρίου όπως πειράματα σε απευθείας σύνδεση. Για παράδειγμα, οι ερευνητές έχουν υιοθετήσει γρήγορα Amazon Mechanical Turk (MTurk) για την πρόσληψη των συμμετεχόντων για την online πειράματα (Σχήμα 4.2). MTurk ταιριάζει "εργοδοτών" που έχουν εργασίες που πρέπει να ολοκληρωθούν με «εργάτες» που επιθυμούν να ολοκληρώσουν τα καθήκοντα αυτά για τα χρήματα. Αντίθετα από τις παραδοσιακές αγορές εργασίας, ωστόσο, τα καθήκοντα που εμπλέκονται συνήθως χρειάζονται μόνο λίγα λεπτά για να ολοκληρωθεί και ολόκληρη η αλληλεπίδραση μεταξύ εργοδότη και εργαζομένου είναι εικονική. Επειδή MTurk μιμείται τις πτυχές του παραδοσιακού εργαστηρίου πειραμάτων-πληρώνουν οι άνθρωποι για να ολοκληρώσουν τις εργασίες που δεν θα κάνουν για δωρεάν-είναι φυσικά κατάλληλο για ορισμένα είδη πειραμάτων. Ουσιαστικά, MTurk έχει δημιουργήσει την υποδομή για τη διαχείριση πισίνα των συμμετεχόντων, την πρόσληψη και την πληρωμή τους ανθρώπους-και οι ερευνητές έχουν επωφεληθεί από αυτή την υποδομή για να αξιοποιήσει ένα πάντα διαθέσιμο πισίνα των συμμετεχόντων.

Σχήμα 4.2: Τα έγγραφα δημοσιεύονται χρησιμοποιώντας δεδομένα από Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk και άλλες online αγορές εργασίας προσφέρουν στους ερευνητές ένα βολικό τρόπο για να προσλάβει τους συμμετέχοντες για πειράματα.

Ψηφιακή πειράματα δημιουργούν ακόμα περισσότερες δυνατότητες για πειράματα στον τομέα-όπως. πειράματα ψηφιακό τομέα μπορεί να προσφέρει σφιχτά δεδομένα ελέγχου και της διαδικασίας για την κατανόηση των πιθανών μηχανισμών (όπως εργαστηριακά πειράματα) και πιο ποικιλόμορφη συμμετέχοντες κάνουν πραγματικές αποφάσεις σε ένα φυσικό περιβάλλον (όπως πειράματα πεδίου). Εκτός από αυτό το συνδυασμό των καλών χαρακτηριστικών των προηγούμενων πειραμάτων, τα πειράματα ψηφιακό τομέα προσφέρουν επίσης τρεις ευκαιρίες που ήταν δύσκολο σε αναλογική εργαστήριο και πεδίο πειράματα.

Κατ 'αρχάς, ενώ τα περισσότερα αναλογικά εργαστήριο και το πεδίο πειράματα έχουν εκατοντάδες συμμετέχοντες, πειράματα ψηφιακό τομέα μπορεί να έχουν τα εκατομμύρια των συμμετεχόντων. Αυτή η αλλαγή στην κλίμακα οφείλεται στο γεγονός ότι ορισμένες ψηφιακές πειράματα μπορούν να παράγουν δεδομένα σε μηδενικό μεταβλητό κόστος. Δηλαδή, άπαξ οι ερευνητές έχουν δημιουργήσει ένα πειραματικό υποδομή, αυξάνοντας τον αριθμό των συμμετεχόντων τυπικά δεν αυξάνει το κόστος. Η αύξηση του αριθμού των συμμετεχόντων κατά ένα συντελεστή 100 ή περισσότερο δεν είναι μόνο ποσοτική αλλαγή, είναι μια ποιοτική αλλαγή, επειδή επιτρέπει στους ερευνητές να μάθουν διαφορετικά πράγματα από πειράματα (π.χ., η ετερογένεια των αποτελεσμάτων της θεραπείας) και να τρέξει εντελώς διαφορετική πειραματική σχέδια ( π.χ., μεγάλα πειράματα της ομάδας). Το σημείο αυτό είναι τόσο σημαντικό, εγώ θα επιστρέψει σε αυτό προς το τέλος του κεφαλαίου, όταν παρέχουν συμβουλές σχετικά με τη δημιουργία ψηφιακών πειράματα.

Δεύτερον, ενώ τα περισσότερα αναλογικά εργαστήριο και το πεδίο πειράματα θεραπεία συμμετέχοντες ως δυσδιάκριτες widgets, πειράματα ψηφιακό τομέα χρησιμοποιούν συχνά τις βασικές πληροφορίες σχετικά με τους συμμετέχοντες στο σχεδιασμό και την ανάλυση των σταδίων της έρευνας. Αυτές οι πληροφορίες υποβάθρου, η οποία ονομάζεται πληροφοριών προ-θεραπεία, είναι συχνά διαθέσιμα σε ψηφιακή πειράματα, επειδή λαμβάνουν χώρα σε πλήρως μετριέται περιβάλλοντα. Για παράδειγμα, ένας ερευνητής στο Facebook έχει πολύ περισσότερες πληροφορίες προ-θεραπεία από έναν ερευνητή σχεδιασμό ενός προτύπου εργαστηριακό πείραμα με φοιτητές. Η πληροφορία αυτή προεπεξεργασία επιτρέπει στους ερευνητές να προχωρήσουν πέρα ​​από την αντιμετώπιση των συμμετεχόντων ως δυσδιάκριτες widgets. Πιο συγκεκριμένα, οι πληροφορίες προ-επεξεργασίας επιτρέπει την πιο αποτελεσματική πειραματική σχέδια, όπως το κλείδωμα (Higgins, Sävje, and Sekhon 2016) και στοχευμένες προσλήψεις των συμμετεχόντων (Eckles, Kizilcec, and Bakshy 2016) -και πιο οξυδερκή ανάλυση, όπως εκτίμηση της ετερογένειας των αποτελεσμάτων της θεραπείας (Athey and Imbens 2016a) και συμμεταβλητή ρύθμιση για τη βελτίωση της ακρίβειας (Bloniarz et al. 2016) .

Τρίτον, ενώ πολλοί αναλογικά εργαστήριο και το πεδίο πειράματα παρέχουν θεραπείες και τα αποτελέσματα μέτρο σε σχετικά συμπιεσμένο χρονικό διάστημα, μερικά πειράματα ψηφιακό τομέα περιλαμβάνουν θεραπείες που μπορεί να παραδοθεί την πάροδο του χρόνου και τα αποτελέσματα μπορούν επίσης να μετρηθούν διαχρονικά. Για παράδειγμα, το πείραμα Restivo και van de Rijt έχει το αποτέλεσμα που μετράται καθημερινά για 90 ημέρες, και ένα από τα πειράματα που θα σας πω για αργότερα στο κεφάλαιο (Ferraro, Miranda, and Price 2011) παρακολουθεί τα αποτελέσματα πάνω από 3 χρόνια ουσιαστικά δεν κόστος. Αυτές οι τρεις ευκαιρίες μεγέθους, πληροφορίες προ-επεξεργασία, και κατά μήκος της θεραπείας και της έκβασης των δεδομένων είναι πιο συχνές όταν τα πειράματα τρέχουν πάνω του πάντα-σε μετρήσεις συστήματα (βλέπε κεφάλαιο 2 για περισσότερες πληροφορίες σχετικά με πάντα-σχετικά με τα συστήματα μέτρησης).

Ενώ τα πειράματα ψηφιακό τομέα προσφέρουν πολλές δυνατότητες, μπορούν επίσης να μοιραστούν κάποιες αδυναμίες τόσο με αναλογικό εργαστήριο και πειράματα πεδίου. Για παράδειγμα, τα πειράματα δεν μπορούν να χρησιμοποιηθούν για τη μελέτη του παρελθόντος, και μπορούν να εκτιμηθούν μόνο τις επιδράσεις των θεραπειών που μπορεί να χειραγωγηθεί. Επίσης, αν και τα πειράματα είναι αναμφίβολα χρήσιμο να κατευθύνουν την πολιτική, η ακριβής καθοδήγηση που μπορεί να προσφέρει είναι κάπως περιορισμένη, λόγω επιπλοκών, όπως η περιβαλλοντική εξάρτηση, προβλήματα συμμόρφωσης, και των επιπτώσεών της ισορροπίας (Banerjee and Duflo 2009; Deaton 2010) . Τέλος, πειράματα ψηφιακό τομέα μεγεθύνει τις ηθικές ανησυχίες που δημιουργούνται από τα πειράματα πεδίου. Οι υποστηρικτές των πειραμάτων πεδίου τρομπέτα ικανότητά τους να κινήσουν και τυχαία παρέμβουν σε επακόλουθες αποφάσεις που λαμβάνονται από εκατομμύρια ανθρώπους. Αυτά τα χαρακτηριστικά προσφέρουν ορισμένες επιστημονικές πλεονεκτήματα, αλλά μπορούν επίσης να κάνουν πειράματα πεδίου ηθικά συγκρότημα (σκεφτείτε το σαν ερευνητές θεραπεία ανθρώπους σαν «πειραματόζωα» σε μαζική κλίμακα). Επιπλέον, εκτός από την πιθανή βλάπτει στους συμμετέχοντες, πειράματα ψηφιακό τομέα, λόγω του μεγέθους τους, μπορούν επίσης να εγείρουν ανησυχίες σχετικά με τη διακοπή της εργασίας κοινωνικών συστημάτων (π.χ., οι ανησυχίες για διατάραξη σύστημα ανταμοιβής της Wikipedia αν Restivo και van der Rijt έδωσε πάρα πολλά barnstars) .