4.3 Δύο διαστάσεις των πειραμάτων: lab-πεδίου και αναλογικό σε ψηφιακό
Εργαστηριακά πειράματα προσφέρουν τον έλεγχο, πειράματα πεδίου προσφέρει ρεαλισμό, και πειράματα ψηφιακό τομέα συνδυάζουν τον έλεγχο και ρεαλισμό σε κλίμακα.
Τα πειράματα έρχονται σε πολλά διαφορετικά σχήματα και μεγέθη. Στο παρελθόν, οι ερευνητές βρήκαν χρήσιμο να οργανώσουν πειράματα κατά μήκος μιας συνέχειας μεταξύ εργαστηριακών πειραμάτων και πειραμάτων πεδίου . Τώρα, ωστόσο, οι ερευνητές θα πρέπει επίσης να οργανώσουν πειράματα κατά τη διάρκεια μιας δεύτερης συνέχειας μεταξύ αναλογικών πειραμάτων και ψηφιακών πειραμάτων . Αυτός ο δισδιάστατος σχεδιαστικός χώρος θα σας βοηθήσει να κατανοήσετε τα πλεονεκτήματα και τις αδυναμίες των διαφορετικών προσεγγίσεων και να επισημάνετε τις περιοχές με τις μεγαλύτερες ευκαιρίες (σχήμα 4.1).
Σχήμα 4.1: Σχήμα του χώρου σχεδιασμού για πειράματα. Στο παρελθόν, τα πειράματα διέφεραν κατά μήκος της διάστασης του εργαστηριακού πεδίου. Τώρα, διαφέρουν και στην αναλογική ψηφιακή διάσταση. Αυτός ο δισδιάστατος σχεδιαστικός χώρος απεικονίζεται από τέσσερα πειράματα που περιγράφω σε αυτό το κεφάλαιο. Κατά τη γνώμη μου, η περιοχή με τις μεγαλύτερες ευκαιρίες είναι τα πειράματα ψηφιακού πεδίου.
Μία διάσταση κατά την οποία μπορούν να οργανωθούν πειράματα είναι η διάσταση του εργαστηριακού πεδίου. Πολλά πειράματα στις κοινωνικές επιστήμες είναι εργαστηριακά πειράματα όπου οι προπτυχιακοί φοιτητές εκτελούν παράξενα καθήκοντα σε ένα εργαστήριο για πίστωση σπουδών. Αυτός ο τύπος πειράματος κυριαρχεί στην έρευνα στην ψυχολογία, διότι επιτρέπει στους ερευνητές να δημιουργούν εξαιρετικά ελεγχόμενες ρυθμίσεις ώστε να απομονώνονται και να δοκιμάζονται με ακρίβεια συγκεκριμένες θεωρίες σχετικά με την κοινωνική συμπεριφορά. Ωστόσο, για ορισμένα προβλήματα, κάτι είναι λίγο παράξενο για την εξαγωγή ισχυρών συμπερασμάτων σχετικά με την ανθρώπινη συμπεριφορά από τέτοιους ασυνήθιστους ανθρώπους που εκτελούν τέτοια ασυνήθιστα καθήκοντα σε ένα τέτοιο ασυνήθιστο περιβάλλον. Αυτές οι ανησυχίες έχουν οδηγήσει σε κίνηση προς πειράματα πεδίου . Τα πειράματα πεδίου συνδυάζουν τον ισχυρό σχεδιασμό τυχαιοποιημένων πειραμάτων ελέγχου με πιο αντιπροσωπευτικές ομάδες συμμετεχόντων που εκτελούν πιο κοινά καθήκοντα σε πιο φυσικές συνθήκες.
Παρόλο που μερικοί άνθρωποι σκέφτονται τα εργαστηριακά και πεδία πειράματα ως ανταγωνιστικές μεθόδους, είναι καλύτερο να τους θεωρήσουμε ως συμπληρωματικά, με διαφορετικές δυνάμεις και αδυναμίες. Για παράδειγμα, οι Correll, Benard, and Paik (2007) χρησιμοποίησαν ένα εργαστηριακό πείραμα και ένα πείραμα πεδίου για να βρουν τις πηγές της "ποινής της μητρότητας". Στις Ηνωμένες Πολιτείες, οι μητέρες κερδίζουν λιγότερα χρήματα από τις άτεκνες γυναίκες, συγκρίνοντας τις γυναίκες με παρόμοιες δεξιότητες που εργάζονται σε παρόμοιες θέσεις εργασίας. Υπάρχουν πολλές πιθανές εξηγήσεις για αυτό το μοτίβο, ένα από τα οποία είναι ότι οι εργοδότες είναι προκατειλημμένες κατά των μητέρων. (Είναι ενδιαφέρον ότι το αντίθετο φαίνεται να ισχύει για τους πατέρες: τείνουν να κερδίζουν περισσότερους από τους συγκρίσιμους άντρες χωρίς παιδιά.) Για να εκτιμηθεί η ενδεχόμενη προκατάληψη έναντι των μητέρων, ο Correll και οι συνάδελφοί του έτρεξαν δύο πειράματα: ένα στο εργαστήριο και ένα στο πεδίο.
Πρώτον, σε ένα εργαστηριακό πείραμα, είπαν στους συμμετέχοντες, οι οποίοι ήταν φοιτητές κολεγίου, ότι μια εταιρεία διεξήγαγε έρευνα για την απασχόληση ενός ατόμου που θα οδηγούσε το νέο τμήμα της μάρκας της Ανατολικής Ακτής. Οι μαθητές ενημερώθηκαν ότι η εταιρεία ήθελε τη βοήθειά τους στη διαδικασία πρόσληψης και τους ζητήθηκε να επανεξετάσουν τα βιογραφικά των διαφόρων πιθανών υποψηφίων και να αξιολογήσουν τους υποψηφίους σε διάφορες διαστάσεις, όπως η νοημοσύνη τους, η ζεστασιά τους και η δέσμευσή τους να εργαστούν. Επιπλέον, οι μαθητές ρωτήθηκαν αν θα πρότειναν την πρόσληψη του αιτούντος και τι θα πρότειναν ως αρχικό μισθό. Αν και δεν γνωρίζουμε τους μαθητές, τα βιογραφικά σημειώθηκαν ειδικά για να είναι παρόμοια, εκτός από ένα πράγμα: μερικοί από αυτούς σηματοδότησαν τη μητρότητα (αναφέροντας συμμετοχή σε μια ένωση γονέων-εκπαιδευτικών) και κάποιοι όχι. Ο Correll και οι συνεργάτες του διαπίστωσαν ότι οι μαθητές ήταν λιγότερο πιθανό να συστήσουν την πρόσληψη των μητέρων και ότι τους προσέφερε χαμηλότερο αρχικό μισθό. Επιπλέον, μέσω μιας στατιστικής ανάλυσης τόσο των αξιολογήσεων όσο και των αποφάσεων σχετικά με τις προσλήψεις, οι Correll και οι συνεργάτες της διαπίστωσαν ότι τα μειονεκτήματα των μητέρων εξηγούνταν σε μεγάλο βαθμό από το γεγονός ότι ήταν χαμηλότερα όσον αφορά την ικανότητα και τη δέσμευση. Έτσι, αυτό το εργαστηριακό πείραμα επέτρεψε στους Correll και συνεργάτες να μετρήσουν ένα αιτιώδες αποτέλεσμα και να δώσουν μια πιθανή εξήγηση γι 'αυτό το αποτέλεσμα.
Φυσικά, κάποιος μπορεί να είναι σκεπτικός σχετικά με την εξαγωγή συμπερασμάτων σχετικά με ολόκληρη την αγορά εργασίας των ΗΠΑ με βάση τις αποφάσεις μερικών εκατοντάδων φοιτητών που πιθανότατα δεν είχαν ποτέ απασχόληση πλήρους απασχόλησης, πόσο μάλλον να προσλαμβάνουν κάποιον. Επομένως, ο Correll και οι συνεργάτες του διεξήγαγαν επίσης ένα συμπληρωματικό πείραμα πεδίου. Ανταποκρίθηκαν σε εκατοντάδες διαφημισθέντα ανοίγματα θέσεων εργασίας με ψεύτικες συνοδευτικές επιστολές και συνέχισαν. Παρόμοια με τα υλικά που παρουσιάζονται στους προπτυχιακούς φοιτητές, μερικά βιογραφικά σημειώνουν τη μητρότητα και μερικά όχι. Ο Correll και οι συνάδελφοί του διαπίστωσαν ότι οι μητέρες είναι λιγότερο πιθανό να ζητηθούν για συνεντεύξεις από ό, τι εξίσου εξειδικευμένες γυναίκες χωρίς παιδιά. Με άλλα λόγια, οι πραγματικοί εργοδότες που λαμβάνουν επακόλουθες αποφάσεις σε ένα φυσικό περιβάλλον συμπεριφέρθηκαν πολύ σαν τους προπτυχιακούς φοιτητές. Έκαναν παρόμοιες αποφάσεις για τον ίδιο λόγο; Δυστυχώς, δεν ξέρουμε. Οι ερευνητές δεν μπόρεσαν να ζητήσουν από τους εργοδότες να αξιολογήσουν τους υποψηφίους ή να εξηγήσουν τις αποφάσεις τους.
Αυτό το ζευγάρι πειραμάτων αποκαλύπτει πολλά για τα εργαστηριακά πειράματα και τα πεδία γενικά. Τα εργαστηριακά πειράματα προσφέρουν στους ερευνητές σχεδόν πλήρη έλεγχο του περιβάλλοντος στο οποίο οι συμμετέχοντες λαμβάνουν αποφάσεις. Έτσι, για παράδειγμα, στο εργαστηριακό πείραμα, ο Correll και οι συνεργάτες του ήταν σε θέση να διασφαλίσουν ότι όλα τα βιογραφικά σημειώθηκαν σε ένα ήσυχο περιβάλλον. στο πειραματικό πεδίο, μερικά από τα βιογραφικά σημειώματα ίσως να μην έχουν ακόμη διαβάσει. Επιπλέον, επειδή οι συμμετέχοντες στο εργαστηριακό περιβάλλον γνωρίζουν ότι μελετώνται, οι ερευνητές είναι συχνά σε θέση να συλλέξουν πρόσθετα δεδομένα που μπορούν να εξηγήσουν γιατί οι συμμετέχοντες λαμβάνουν τις αποφάσεις τους. Για παράδειγμα, ο Correll και οι συνεργάτες του ζήτησαν από τους συμμετέχοντες στο εργαστηριακό πείραμα να αξιολογήσουν τους υποψηφίους σε διαφορετικές διαστάσεις. Αυτού του είδους τα δεδομένα διεργασίας θα μπορούσαν να βοηθήσουν τους ερευνητές να κατανοήσουν τους μηχανισμούς πίσω από τις διαφορές στο πώς οι συμμετέχοντες αντιμετωπίζουν τα βιογραφικά.
Από την άλλη πλευρά, αυτά τα ίδια ακριβώς χαρακτηριστικά που μόλις περιέγραψα ως πλεονεκτήματα θεωρούνται επίσης μερικές φορές μειονεκτήματα. Οι ερευνητές που προτιμούν πειράματα πεδίου ισχυρίζονται ότι οι συμμετέχοντες σε εργαστηριακά πειράματα θα μπορούσαν να δρουν πολύ διαφορετικά επειδή γνωρίζουν ότι μελετώνται. Για παράδειγμα, στο εργαστηριακό πείραμα, οι συμμετέχοντες μπορεί να έχουν μαντέψει τον στόχο της έρευνας και να αλλάξουν τη συμπεριφορά τους έτσι ώστε να μην φαίνονται προκατειλημμένες. Περαιτέρω, οι ερευνητές που προτιμούν τα πειράματα πεδίου μπορεί να υποστηρίζουν ότι οι μικρές διαφορές στα βιογραφικά σημειώματα μπορούν να ξεχωρίζουν μόνο σε ένα πολύ καθαρό, στείρο εργαστηριακό περιβάλλον και έτσι το εργαστηριακό πείραμα θα υπερεκτιμήσει την επίδραση της μητρότητας σε πραγματικές αποφάσεις πρόσληψης. Τέλος, πολλοί υποστηρικτές πειραμάτων πεδίου επικρίνουν την εξάρτηση των εργαστηριακών πειραμάτων από τους συμμετέχοντες στο WEIRD: κυρίως φοιτητές από τις δυτικές, εκπαιδευμένες, βιομηχανικές, πλούσιες και δημοκρατικές χώρες (Henrich, Heine, and Norenzayan 2010a) . Τα πειράματα από τους Correll και συνεργάτες (2007) απεικονίζουν τα δύο άκρα στο εργαστηριακό πεδίο. Μεταξύ αυτών των δύο άκρων υπάρχει επίσης μια ποικιλία υβριδικών σχεδίων, συμπεριλαμβανομένων των προσεγγίσεων όπως η προσέλκυση μη φοιτητών σε εργαστήριο ή η είσοδος στο πεδίο, αλλά η συμμετοχή των συμμετεχόντων σε ένα ασυνήθιστο έργο.
Εκτός από τη διάσταση του εργαστηριακού πεδίου που υπήρχε στο παρελθόν, η ψηφιακή εποχή σημαίνει ότι οι ερευνητές έχουν τώρα μια δεύτερη σημαντική διάσταση κατά την οποία τα πειράματα μπορούν να ποικίλουν: αναλογικό-ψηφιακό. Ακριβώς όπως υπάρχουν καθαρά εργαστηριακά πειράματα, πειράματα καθαρού πεδίου και μια ποικιλία υβριδίων μεταξύ τους, υπάρχουν καθαρά αναλογικά πειράματα, καθαρά ψηφιακά πειράματα και μια ποικιλία υβριδίων. Είναι δύσκολο να προσφέρουμε έναν επίσημο ορισμό αυτής της διάστασης, αλλά ένας χρήσιμος ορισμός είναι ότι τα πλήρως ψηφιακά πειράματα είναι πειράματα που χρησιμοποιούν ψηφιακή υποδομή για να προσλάβουν συμμετέχοντες, να τυχαιοποιήσουν, να παραδώσουν θεραπείες και να μετρήσουν τα αποτελέσματα. Για παράδειγμα, οι μελέτες του Restivo και του van de Rijt (2012) για τα barnstars και η Wikipedia ήταν ένα πλήρως ψηφιακό πείραμα επειδή χρησιμοποίησε ψηφιακά συστήματα και για τα τέσσερα αυτά βήματα. Ομοίως, τα πλήρως αναλογικά πειράματα δεν χρησιμοποιούν ψηφιακή υποδομή για κανένα από αυτά τα τέσσερα βήματα. Πολλά από τα κλασικά πειράματα στην ψυχολογία είναι πλήρως αναλογικά πειράματα. Μεταξύ αυτών των δύο άκρων, υπάρχουν μερικά ψηφιακά πειράματα που χρησιμοποιούν έναν συνδυασμό αναλογικών και ψηφιακών συστημάτων.
Όταν κάποιοι σκέφτονται ψηφιακά πειράματα, σκέφτονται αμέσως για online πειράματα. Αυτό είναι ατυχές επειδή οι ευκαιρίες για την εκτέλεση ψηφιακών πειραμάτων δεν είναι μόνο σε απευθείας σύνδεση. Οι ερευνητές μπορούν να τρέξουν εν μέρει ψηφιακά πειράματα χρησιμοποιώντας ψηφιακές συσκευές στον φυσικό κόσμο προκειμένου να παραδώσουν θεραπείες ή να μετρήσουν τα αποτελέσματα. Για παράδειγμα, οι ερευνητές θα μπορούσαν να χρησιμοποιήσουν τα smartphones για να προσφέρουν θεραπείες ή αισθητήρες στο δομημένο περιβάλλον για να μετρήσουν τα αποτελέσματα. Στην πραγματικότητα, όπως θα δούμε αργότερα σε αυτό το κεφάλαιο, οι ερευνητές έχουν ήδη χρησιμοποιήσει μετρητές οικιακής ενέργειας για να μετρήσουν τα αποτελέσματα σε πειράματα σχετικά με την κατανάλωση ενέργειας που αφορούν 8,5 εκατομμύρια νοικοκυριά (Allcott 2015) . Καθώς οι ψηφιακές συσκευές ενσωματώνονται ολοένα και περισσότερο στη ζωή των ανθρώπων και οι αισθητήρες ενσωματώνονται στο δομημένο περιβάλλον, αυτές οι ευκαιρίες για την εκτέλεση εν μέρει ψηφιακών πειραμάτων στον φυσικό κόσμο θα αυξηθούν δραματικά. Με άλλα λόγια, τα ψηφιακά πειράματα δεν είναι μόνο σε απευθείας σύνδεση πειράματα.
Τα ψηφιακά συστήματα δημιουργούν νέες δυνατότητες για πειράματα παντού κατά μήκος του συνεχούς εργαστηριακού πεδίου. Σε πειράματα καθαρού εργαστηρίου, για παράδειγμα, οι ερευνητές μπορούν να χρησιμοποιήσουν ψηφιακά συστήματα για την καλύτερη μέτρηση της συμπεριφοράς των συμμετεχόντων. ένα παράδειγμα αυτού του τύπου βελτιωμένης μέτρησης είναι ο μηχανισμός παρακολούθησης οφθαλμών που παρέχει ακριβείς και συνεχείς μετρήσεις της θέσης του βλέμματος. Η ψηφιακή εποχή δημιουργεί επίσης τη δυνατότητα διεξαγωγής πειραμάτων που μοιάζουν με εργαστήριο σε απευθείας σύνδεση. Για παράδειγμα, οι ερευνητές υιοθέτησαν γρήγορα την Amazon Mechanical Turk (MTurk) για να προσλάβουν συμμετέχοντες για online πειράματα (σχήμα 4.2). Το MTurk αντιστοιχεί σε "εργοδότες" που έχουν καθήκοντα που πρέπει να συμπληρωθούν με "εργαζόμενους" που επιθυμούν να ολοκληρώσουν αυτά τα καθήκοντα για χρήματα. Σε αντίθεση με τις παραδοσιακές αγορές εργασίας, ωστόσο, τα καθήκοντα απαιτούν συνήθως μόνο λίγα λεπτά για να ολοκληρωθούν και ολόκληρη η αλληλεπίδραση μεταξύ εργοδότη και εργαζομένου είναι ηλεκτρονική. Επειδή ο MTurk μιμείται πτυχές των παραδοσιακών εργαστηριακών πειραμάτων - που πληρώνουν τους ανθρώπους για να ολοκληρώσουν τα καθήκοντα που δεν θα κάνουν δωρεάν - είναι φυσικά κατάλληλο για ορισμένους τύπους πειραμάτων. Ουσιαστικά, η MTurk δημιούργησε την υποδομή για τη διαχείριση ενός συνόλου συμμετεχόντων - την πρόσληψη και την πληρωμή των ατόμων - και οι ερευνητές εκμεταλλεύτηκαν αυτήν την υποδομή για να αξιοποιήσουν μια πάντα διαθέσιμη ομάδα συμμετεχόντων.
Σχήμα 4.2: Έγγραφα που δημοσιεύθηκαν χρησιμοποιώντας δεδομένα από την Amazon Mechanical Turk (MTurk). Η MTurk και άλλες σε απευθείας σύνδεση αγορές εργασίας προσφέρουν στους ερευνητές ένα βολικό τρόπο για να προσλάβουν συμμετέχοντες για πειράματα. Προσαρμοσμένη από τον Bohannon (2016) .
Τα ψηφιακά συστήματα δημιουργούν ακόμα περισσότερες δυνατότητες για πειράματα όπως το πεδίο. Συγκεκριμένα, δίνουν τη δυνατότητα στους ερευνητές να συνδυάσουν τα στενά δεδομένα ελέγχου και επεξεργασίας που σχετίζονται με εργαστηριακά πειράματα με τους πιο ποικίλους συμμετέχοντες και πιο φυσικές ρυθμίσεις που σχετίζονται με εργαστηριακά πειράματα. Επιπλέον, τα πειράματα ψηφιακού πεδίου προσφέρουν επίσης τρεις ευκαιρίες που τείνουν να δυσκολεύονται σε αναλογικά πειράματα.
Πρώτον, ενώ τα περισσότερα αναλογικά εργαστήρια και πειράματα πεδίου έχουν εκατοντάδες συμμετέχοντες, τα πειράματα ψηφιακού πεδίου μπορούν να έχουν εκατομμύρια συμμετέχοντες. Αυτή η αλλαγή στην κλίμακα οφείλεται στο γεγονός ότι μερικά ψηφιακά πειράματα μπορούν να παράγουν δεδομένα με μηδενικό μεταβλητό κόστος. Δηλαδή, όταν οι ερευνητές έχουν δημιουργήσει μια πειραματική υποδομή, η αύξηση του αριθμού των συμμετεχόντων συνήθως δεν αυξάνει το κόστος. Η αύξηση του αριθμού των συμμετεχόντων κατά συντελεστή 100 ή περισσότερο δεν είναι απλώς μια ποσοτική αλλαγή. είναι μια ποιοτική αλλαγή, διότι επιτρέπει στους ερευνητές να μαθαίνουν διαφορετικά πράγματα από τα πειράματα (π.χ. ετερογένεια των αποτελεσμάτων της θεραπείας) και να τρέχουν εντελώς διαφορετικά πειραματικά σχέδια (π.χ. πειράματα μεγάλων ομάδων). Αυτό το σημείο είναι τόσο σημαντικό, θα επιστρέψω σε αυτό προς το τέλος του κεφαλαίου όταν σας προσφέρω συμβουλές για τη δημιουργία ψηφιακών πειραμάτων.
Δεύτερον, ενώ τα περισσότερα αναλογικά εργαστήρια και πειράματα πεδίου αντιμετωπίζουν τους συμμετέχοντες ως μη διακριτά γραφικά, τα πειράματα ψηφιακού πεδίου χρησιμοποιούν συχνά βασικές πληροφορίες σχετικά με τους συμμετέχοντες στα στάδια σχεδιασμού και ανάλυσης της έρευνας. Αυτές οι πληροφορίες υποβάθρου, οι οποίες ονομάζονται πληροφορίες προ-επεξεργασίας , είναι συχνά διαθέσιμες σε ψηφιακά πειράματα επειδή λειτουργούν πάνω από τα συστήματα μέτρησης που είναι πάντα σε λειτουργία (βλ. Κεφάλαιο 2). Για παράδειγμα, ένας ερευνητής στο Facebook έχει πολύ περισσότερες πληροφορίες πριν από τη θεραπεία σχετικά με τους ανθρώπους στο πείραμα του ψηφιακού πεδίου, από ό, τι ένας ερευνητής πανεπιστημίου έχει για τους ανθρώπους στο αναλογικό πεδίο πειράματός του. Αυτή η προεπεξεργασία επιτρέπει πιο αποτελεσματικά πειραματικά σχέδια - όπως η παρεμπόδιση (Higgins, Sävje, and Sekhon 2016) και η στοχοθετημένη πρόσληψη συμμετεχόντων (Eckles, Kizilcec, and Bakshy 2016) και μια πιο εμπεριστατωμένη ανάλυση, όπως η εκτίμηση της ετερογένειας των επιδράσεων της θεραπείας (Athey and Imbens 2016a) και μεταβλητή προσαρμογής για βελτιωμένη ακρίβεια (Bloniarz et al. 2016) .
Τρίτον, ενώ πολλά αναλογικά εργαστήρια και πειράματα πεδίου παρέχουν θεραπείες και μετρήσουν αποτελέσματα σε σχετικά συμπιεσμένο χρονικό διάστημα, ορισμένα πειράματα ψηφιακού πεδίου συμβαίνουν σε πολύ μεγαλύτερα χρονικά διαστήματα. Για παράδειγμα, το πείραμα του Restivo και του van de Rijt είχε ως αποτέλεσμα το αποτέλεσμα να μετράται καθημερινά για 90 ημέρες και ένα από τα πειράματα που θα σας πω για αργότερα στο κεφάλαιο (Ferraro, Miranda, and Price 2011) παρακολούθησε τα αποτελέσματα για τρία χρόνια, κόστος. Αυτά τα τρία μεγέθη ευκαιριών, πληροφορίες προεπεξεργασίας και διαχρονικά δεδομένα θεραπείας και αποτελεσμάτων προκύπτουν συχνότερα όταν τα πειράματα εκτελούνται πάνω από τα συστήματα μέτρησης πάντα (βλ. Κεφάλαιο 2 για περισσότερα σχετικά με τα συστήματα μέτρησης πάντα).
Ενώ τα πειράματα ψηφιακού πεδίου προσφέρουν πολλές δυνατότητες, μοιράζονται επίσης κάποιες αδυναμίες τόσο με αναλογικά εργαστήρια όσο και με πειράματα αναλογικών πεδίων. Για παράδειγμα, τα πειράματα δεν μπορούν να χρησιμοποιηθούν για να μελετήσουν το παρελθόν και μπορούν μόνο να εκτιμήσουν τις επιπτώσεις των θεραπειών που μπορούν να χειριστούν. Επίσης, παρόλο που τα πειράματα είναι αναμφισβήτητα χρήσιμα για την καθοδήγηση της πολιτικής, η ακριβής καθοδήγηση που μπορούν να προσφέρουν είναι κάπως περιορισμένη εξαιτίας επιπλοκών όπως η περιβαλλοντική εξάρτηση, τα προβλήματα συμμόρφωσης και τα αποτελέσματα ισορροπίας (Banerjee and Duflo 2009; Deaton 2010) . Τα πειράματα ψηφιακού πεδίου μεγεθύνουν επίσης τις ηθικές ανησυχίες που δημιουργούνται από πειράματα πεδίου - ένα θέμα το οποίο θα αναφερθώ αργότερα σε αυτό το κεφάλαιο και στο κεφάλαιο 6.
