4.6.2 Δημιουργήστε δεοντολογία στο σχεδιασμό σας: αντικαταστήστε, βελτιώστε και μειώστε

Κάντε το πείραμά σας πιο ανθρώπινο με την αντικατάσταση των πειραμάτων με μη πειραματικές μελέτες, τελειοποίηση των θεραπειών, και μειώνοντας τον αριθμό των συμμετεχόντων.

Η δεύτερη συμβουλή που θα ήθελα να σας προτείνω για το σχεδιασμό ψηφιακών πειραμάτων αφορά την ηθική. Όπως δείχνει το πείραμα Restivo και van de Rijt σχετικά με τα barnstars στην Wikipedia, το μειωμένο κόστος σημαίνει ότι η ηθική θα γίνει όλο και πιο σημαντικό μέρος του ερευνητικού σχεδιασμού. Εκτός από τα ηθικά πλαίσια που καθοδηγούν την έρευνα για τα ανθρώπινα θέματα που θα περιγράψω στο κεφάλαιο 6, οι ερευνητές που σχεδιάζουν ψηφιακά πειράματα μπορούν επίσης να αντλήσουν από δεοντολογικές ιδέες από διαφορετική πηγή: τις δεοντολογικές αρχές που αναπτύχθηκαν για να κατευθύνουν τα πειράματα με ζώα. Συγκεκριμένα, στο βασικό τους βιβλίο Αρχές της Humane Experimental Technique , ο Russell and Burch (1959) πρότειναν τρεις αρχές που θα πρέπει να κατευθύνουν την έρευνα των ζώων: αντικατάσταση, βελτίωση και μείωση. Θα ήθελα να προτείνω ότι αυτά τα τρία R μπορούν επίσης να χρησιμοποιηθούν - σε μια ελαφρώς τροποποιημένη μορφή - για να καθοδηγήσουν το σχεδιασμό των ανθρώπινων πειραμάτων. Συγκεκριμένα,

• Αντικατάσταση: Αντικαταστήστε τα πειράματα με λιγότερο επεμβατικές μεθόδους αν είναι δυνατόν.
• Ρύθμιση: Ρυθμίστε τη θεραπεία ώστε να είναι όσο το δυνατόν πιο ακίνδυνη.
• Μειώστε: Μειώστε όσο το δυνατόν περισσότερο τον αριθμό των συμμετεχόντων στο πείραμά σας.

Προκειμένου να καταστούν συγκεκριμένα αυτά τα τρία R και να δείξουν πώς μπορούν ενδεχομένως να οδηγήσουν σε καλύτερο και πιο ανθρώπινο πειραματικό σχεδιασμό, θα περιγράψω ένα online πείραμα πεδίου που δημιούργησε ηθική συζήτηση. Στη συνέχεια, θα περιγράψω πώς οι τρεις R προτείνουν συγκεκριμένες και πρακτικές αλλαγές στο σχεδιασμό του πειράματος.

Ένα από τα πιό ηθικά συζητούμενα πειράματα ψηφιακού πεδίου διεξήχθη από τον Adam Kramer, τον Jamie Guillroy και τον Jeffrey Hancock (2014) και έχει αποκαληθεί "Συναισθηματική Καταπολέμηση". Το πείραμα πραγματοποιήθηκε στο Facebook και προκλήθηκε από ένα συνδυασμό επιστημονικών και πρακτικές ερωτήσεις. Εκείνη την εποχή, ο κυρίαρχος τρόπος με τον οποίο οι χρήστες αλληλεπίδρασαν με το Facebook ήταν η News Feed, μια αλγοριθμικά επιμελημένη σειρά ενημερώσεων για το Facebook από τους φίλους του χρήστη του Facebook. Ορισμένοι επικριτές του Facebook είχαν προτείνει ότι επειδή η News Feed έχει ως επί το πλείστον θετικές θέσεις-φίλοι που δείχνουν το τελευταίο τους πάρτι - θα μπορούσε να κάνει τους χρήστες να αισθάνονται λυπημένοι επειδή η ζωή τους φαινόταν λιγότερο συναρπαστική σε σύγκριση. Από την άλλη πλευρά, ίσως το αποτέλεσμα είναι ακριβώς το αντίθετο: ίσως να βλέπετε τον φίλο σας να έχει καλό χρόνο θα σας έκανε να νιώσετε χαρούμενος. Προκειμένου να αντιμετωπιστούν αυτές οι ανταγωνιστικές υποθέσεις - και να προωθηθεί η κατανόησή μας για το πώς τα συναισθήματα ενός ατόμου επηρεάζονται από τα συναισθήματα των φίλων της - ο Kramer και οι συνάδελφοί του έτρεξαν ένα πείραμα. Τοποθέτησαν περίπου 700.000 χρήστες σε τέσσερις ομάδες για μία εβδομάδα: μια ομάδα με μειωμένη αρνητικότητα, για την οποία οι θέσεις με αρνητικές λέξεις (π.χ. "λυπημένες") μπλοκάρισαν τυχαία να μην εμφανίζονται στη ροή ειδήσεων. μια ομάδα με "μειωμένη θετικότητα" για την οποία οι θέσεις με θετικές λέξεις (π.χ. "ευτυχισμένες") μπλοκάρισαν τυχαία. και δύο ομάδες ελέγχου. Στην ομάδα ελέγχου για την ομάδα με μειωμένη αρνητικότητα, οι θέσεις μπλοκαρίστηκαν τυχαία με τον ίδιο ρυθμό με την ομάδα με μειωμένη αρνητικότητα αλλά χωρίς να λαμβάνεται υπόψη το συναισθηματικό περιεχόμενο. Η ομάδα ελέγχου για την ομάδα με "μειωμένη θετικότητα" κατασκευάστηκε παράλληλα. Ο σχεδιασμός αυτού του πειράματος δείχνει ότι η κατάλληλη ομάδα ελέγχου δεν είναι πάντα μία χωρίς αλλαγές. Αντίθετα, ορισμένες φορές, η ομάδα ελέγχου λαμβάνει μια θεραπεία για να δημιουργήσει την ακριβή σύγκριση που απαιτεί μια ερευνητική ερώτηση. Σε όλες τις περιπτώσεις, οι δημοσιεύσεις που αποκλείστηκαν από την Ενημερωτική Δελτίο ήταν ακόμα διαθέσιμες στους χρήστες μέσω άλλων τμημάτων του ιστότοπου του Facebook.

Ο Kramer και οι συνάδελφοί του διαπίστωσαν ότι για τους συμμετέχοντες στη κατάσταση μειωμένης θετικότητας, το ποσοστό των θετικών λέξεων στις ενημερώσεις κατάστασης μειώθηκε και το ποσοστό αρνητικών λέξεων αυξήθηκε. Από την άλλη πλευρά, για τους συμμετέχοντες στη μειωμένη αρνητικότητα, το ποσοστό των θετικών λέξεων αυξήθηκε και το αρνητικό κείμενο μειώθηκε (σχήμα 4.24). Ωστόσο, αυτά τα αποτελέσματα ήταν πολύ μικρά: η διαφορά θετικών και αρνητικών λέξεων μεταξύ θεραπειών και ελέγχων ήταν περίπου 1 στις 1.000 λέξεις.

Σχήμα 4.24: Αποδεικτικά στοιχεία συναισθηματικής μόλυνσης (Kramer, Guillory, and Hancock 2014) . Οι συμμετέχοντες στη μειωμένη αρνητική κατάσταση χρησιμοποίησαν λιγότερες αρνητικές λέξεις και πιο θετικές λέξεις και οι συμμετέχοντες στη μειωμένη θετική κατάσταση χρησιμοποίησαν πιο αρνητικές λέξεις και λιγότερες θετικές λέξεις. Τα μπαρ αντιπροσωπεύουν εκτιμώμενα τυπικά σφάλματα. Προσαρμοσμένη από τους Kramer, Guillory, and Hancock (2014) , σχήμα 1.

Πριν συζητήσουμε τα ηθικά ζητήματα που θέτει το συγκεκριμένο πείραμα, θα ήθελα να περιγράψω τρία επιστημονικά ζητήματα χρησιμοποιώντας μερικές από τις ιδέες από το προηγούμενο κεφάλαιο. Πρώτον, δεν είναι σαφές πώς οι πραγματικές λεπτομέρειες του πειράματος συνδέονται με τις θεωρητικές αξιώσεις. Με άλλα λόγια, υπάρχουν ερωτήματα σχετικά με την εγκυρότητα της κατασκευής. Δεν είναι ξεκάθαρο ότι η θετική και η αρνητική λέξη μετράει είναι στην πραγματικότητα ένας καλός δείκτης της συναισθηματικής κατάστασης των συμμετεχόντων επειδή (1) δεν είναι ξεκάθαρο ότι οι λέξεις που οι άνθρωποι δημοσιεύουν είναι ένας καλός δείκτης των συναισθημάτων τους και (2) δεν είναι ότι η συγκεκριμένη τεχνική ανάλυσης αισθήσεων που χρησιμοποιούν οι ερευνητές είναι σε θέση να συνάγει αξιόπιστα τα συναισθήματα (Beasley and Mason 2015; Panger 2016) . Με άλλα λόγια, μπορεί να υπάρχει μια κακή μέτρηση ενός προκατειλημμένου σήματος. Δεύτερον, ο σχεδιασμός και η ανάλυση του πειράματος δεν μας λέει τίποτα για το ποιος επηρεάστηκε περισσότερο (δηλαδή, δεν υπάρχει ανάλυση της ετερογένειας των αποτελεσμάτων της θεραπείας) και ποιος μπορεί να είναι ο μηχανισμός. Στην περίπτωση αυτή, οι ερευνητές είχαν πολλές πληροφορίες σχετικά με τους συμμετέχοντες, αλλά στην ουσία θεωρήθηκαν ως widgets στην ανάλυση. Τρίτον, το μέγεθος αποτελέσματος σε αυτό το πείραμα ήταν πολύ μικρό. η διαφορά μεταξύ των συνθηκών θεραπείας και ελέγχου είναι περίπου 1 στις 1.000 λέξεις. Στην εργασία τους, ο Kramer και οι συνάδελφοί του ισχυρίζονται ότι το αποτέλεσμα αυτού του μεγέθους είναι σημαντικό, διότι εκατοντάδες εκατομμύρια άνθρωποι έχουν πρόσβαση στο News Feed κάθε μέρα. Με άλλα λόγια, υποστηρίζουν ότι ακόμη και αν τα αποτελέσματα είναι μικρά για κάθε άτομο, είναι μεγάλα συνολικά. Ακόμα κι αν αποδεχθήκατε αυτό το επιχείρημα, δεν είναι ακόμα σαφές εάν ένα αποτέλεσμα αυτού του μεγέθους είναι σημαντικό σε σχέση με το γενικότερο επιστημονικό ερώτημα σχετικά με την εξάπλωση του συναισθήματος (Prentice and Miller 1992) .

Εκτός από αυτά τα επιστημονικά ερωτήματα, μόλις λίγες μέρες μετά τη δημοσίευση αυτού του εγγράφου στα Πρακτικά της Εθνικής Ακαδημίας Επιστημών , υπήρξε μια τεράστια κατακραυγή τόσο από τους ερευνητές όσο και από τον Τύπο (θα περιγράψω τα επιχειρήματα σε αυτή τη συζήτηση λεπτομερέστερα στο κεφάλαιο 6 ). Τα ζητήματα που τέθηκαν σε αυτή τη συζήτηση οδήγησαν το περιοδικό να δημοσιεύσει μια σπάνια "εκφραστική έκφραση ανησυχίας" σχετικά με τη δεοντολογία και τη διαδικασία δεοντολογικής εξέτασης για την έρευνα (Verma 2014) .

Δεδομένου ότι το ιστορικό για το Συναισθηματικό Επεισόδιο, θα ήθελα τώρα να δείξω ότι οι τρεις R μπορούν να προτείνουν συγκεκριμένες, πρακτικές βελτιώσεις για πραγματικές σπουδές (ό, τι και να σκεφτείτε προσωπικά για τη δεοντολογία αυτού του συγκεκριμένου πειράματος). Το πρώτο R αντικαθίσταται : οι ερευνητές πρέπει να επιδιώξουν να αντικαταστήσουν τα πειράματα με λιγότερο επεμβατικές και επικίνδυνες τεχνικές, ει δυνατόν. Για παράδειγμα, αντί να τρέξει ένα τυχαίο ελεγχόμενο πείραμα, οι ερευνητές θα μπορούσαν να εκμεταλλευτούν ένα φυσικό πείραμα . Όπως περιγράφεται στο κεφάλαιο 2, τα φυσικά πειράματα είναι καταστάσεις όπου συμβαίνει κάτι στον κόσμο που προσεγγίζει την τυχαία ανάθεση των θεραπειών (π.χ. μια κλήρωση για να αποφασίσει ποιος θα συνταχθεί στο στρατό). Το ηθικό πλεονέκτημα ενός φυσικού πειράματος είναι ότι ο ερευνητής δεν χρειάζεται να προσφέρει θεραπείες: το περιβάλλον το κάνει για σένα. Για παράδειγμα, σχεδόν ταυτόχρονα με το πείραμα της συναισθηματικής επαφής, οι Lorenzo Coviello et al. (2014) εκμεταλλεύονταν αυτό που θα μπορούσε να ονομαστεί φυσικό πείραμα Συναισθηματικής Επαφής. Ο Coviello και οι συνάδελφοί του ανακάλυψαν ότι οι άνθρωποι δημοσιεύουν περισσότερες αρνητικές λέξεις και λιγότερα θετικά λόγια σε ημέρες όπου βρέχει. Επομένως, χρησιμοποιώντας τυχαία διακύμανση στον καιρό, ήταν σε θέση να μελετήσουν την επίδραση των αλλαγών στο News Feed χωρίς να χρειάζεται να παρεμβαίνουν καθόλου. Ήταν σαν να έτρεχε ο καιρός για το πείραμά τους. Οι λεπτομέρειες της διαδικασίας τους είναι λίγο περίπλοκες, αλλά το πιο σημαντικό σημείο για τους σκοπούς μας είναι ότι χρησιμοποιώντας ένα φυσικό πείραμα, ο Coviello και οι συνάδελφοί του μπόρεσαν να μάθουν για την εξάπλωση των συναισθημάτων χωρίς να χρειάζεται να τρέξουν το δικό τους πείραμα.

Το δεύτερο από τα τρία Rs είναι ραφινάρισμα : οι ερευνητές θα πρέπει να επιδιώξουν να τελειοποιήσουν τις θεραπείες τους για να τους κάνουν όσο πιο αβλαβείς γίνεται. Για παράδειγμα, αντί να εμποδίζουν περιεχόμενο που ήταν θετικό ή αρνητικό, οι ερευνητές θα μπορούσαν να έχουν ενισχύσει περιεχόμενο που ήταν θετικό ή αρνητικό. Αυτός ο σχεδιασμός ώθησης θα είχε αλλάξει το συναισθηματικό περιεχόμενο των News Feeds των συμμετεχόντων, αλλά θα είχε αντιμετωπίσει μία από τις ανησυχίες που εξέφρασαν οι επικριτές: ότι τα πειράματα θα μπορούσαν να έχουν προκαλέσει στους συμμετέχοντες να χάσουν σημαντικές πληροφορίες στο News Feed τους. Με το σχέδιο που χρησιμοποίησε ο Kramer και οι συνεργάτες του, ένα μήνυμα που είναι σημαντικό είναι πιθανό να αποκλειστεί ως ένα τέτοιο που δεν είναι. Ωστόσο, με ένα σχέδιο ενίσχυσης, τα μηνύματα που θα εκτοπιστούν θα είναι αυτά που είναι λιγότερο σημαντικά.

Τέλος, το τρίτο R είναι μειωμένο : οι ερευνητές θα πρέπει να επιδιώξουν να μειώσουν τον αριθμό των συμμετεχόντων στο πείραμά τους στο ελάχιστο απαραίτητο για την επίτευξη του επιστημονικού στόχου τους. Σε αναλογικά πειράματα, αυτό συνέβη φυσικά λόγω του υψηλού μεταβλητού κόστους των συμμετεχόντων. Όμως, σε ψηφιακά πειράματα, ιδιαίτερα εκείνα με μηδενικό μεταβλητό κόστος, οι ερευνητές δεν αντιμετωπίζουν περιορισμό κόστους στο μέγεθος του πειράματός τους και αυτό έχει τη δυνατότητα να οδηγήσει σε άσκοπα μεγάλα πειράματα.

Για παράδειγμα, οι Kramer και οι συνάδελφοί τους θα μπορούσαν να έχουν χρησιμοποιήσει πληροφορίες προ-θεραπείας για τους συμμετέχοντες τους - όπως η συμπεριφορά απόσπασης πριν τη θεραπεία - για να κάνουν την ανάλυσή τους πιο αποτελεσματική. Πιο συγκεκριμένα, αντί να συγκρίνει το ποσοστό θετικών λέξεων στις συνθήκες θεραπείας και ελέγχου, ο Kramer και οι συνάδελφοί του θα μπορούσαν να συγκρίνουν τη μεταβολή του ποσοστού των θετικών λέξεων μεταξύ των συνθηκών. μια προσέγγιση που μερικές φορές ονομάζεται μικτός σχεδιασμός (σχήμα 4.5) και μερικές φορές αποκαλείται εκτιμητής διαφοράς στις διαφορές. Δηλαδή, για κάθε συμμετέχοντα, οι ερευνητές θα μπορούσαν να έχουν δημιουργήσει μια βαθμολογία αλλαγή (μετά τη θεραπεία συμπεριφοράς \(-\) η συμπεριφορά προ-επεξεργασία) και, στη συνέχεια, σε σύγκριση με τις βαθμολογίες των συμμετεχόντων στις συνθήκες επεξεργασίας και ελέγχου των αλλαγών. Αυτή η προσέγγιση διαφοράς στις διαφορές είναι πιο αποτελεσματική στατιστικά, πράγμα που σημαίνει ότι οι ερευνητές μπορούν να επιτύχουν την ίδια στατιστική εμπιστοσύνη χρησιμοποιώντας πολύ μικρότερα δείγματα.

Χωρίς να έχουμε τα ακατέργαστα δεδομένα, είναι δύσκολο να γνωρίζουμε ακριβώς πόσο αποτελεσματικότερο θα ήταν ο εκτιμητής διαφοράς στην διαφορά στην περίπτωση αυτή. Αλλά μπορούμε να δούμε άλλα σχετικά πειράματα για μια γενική ιδέα. Deng et al. (2013) ανέφεραν ότι, χρησιμοποιώντας μια μορφή του εκτιμητή διαφοράς στις διαφορές, κατάφεραν να μειώσουν τη διακύμανση των εκτιμήσεών τους κατά περίπου 50% σε τρία διαφορετικά πειράματα σε απευθείας σύνδεση. παρόμοια αποτελέσματα έχουν αναφερθεί από τους Xie and Aurisset (2016) . Αυτή η μείωση της διακύμανσης κατά 50% σημαίνει ότι οι ερευνητές της Συναισθηματικής Καταπόνησης θα μπορούσαν να έχουν μειώσει το δείγμα τους στο μισό αν είχαν χρησιμοποιήσει μια ελαφρώς διαφορετική μέθοδο ανάλυσης. Με άλλα λόγια, με μια μικρή αλλαγή στην ανάλυση, 350.000 άνθρωποι θα μπορούσαν να έχουν απαλλαγεί από τη συμμετοχή στο πείραμα.

Σε αυτό το σημείο, ίσως να αναρωτιέστε γιατί οι ερευνητές θα πρέπει να ενδιαφέρονται αν 350.000 άνθρωποι ήταν σε Συναισθηματική Καταστροφή άσκοπα. Υπάρχουν δύο ιδιαίτερα χαρακτηριστικά της Συναισθηματικής Καταπόνησης που προκαλούν ανησυχία για το υπερβολικό μέγεθος και τα χαρακτηριστικά αυτά μοιράζονται σε πολλά πειράματα ψηφιακού πεδίου: (1) υπάρχει αβεβαιότητα σχετικά με το εάν το πείραμα θα προκαλέσει βλάβες τουλάχιστον σε ορισμένους συμμετέχοντες και (2) συμμετοχή δεν ήταν εθελοντική. Φαίνεται λογικό να προσπαθήσουμε να διατηρήσουμε τα πειράματα που έχουν αυτά τα χαρακτηριστικά όσο το δυνατόν μικρότερα.

Για να είναι σαφές, η επιθυμία να μειωθεί το μέγεθος του πειράματός σας δεν σημαίνει ότι δεν πρέπει να εκτελέσετε μεγάλα, μηδενικά πειράματα μεταβλητού κόστους. Απλώς σημαίνει ότι τα πειράματά σας δεν θα πρέπει να είναι μεγαλύτερα από αυτά που χρειάζεστε για να επιτύχετε τον επιστημονικό σας στόχο. Ένας σημαντικός τρόπος για να βεβαιωθείτε ότι ένα πείραμα έχει το κατάλληλο μέγεθος είναι να διεξάγει μια ανάλυση ισχύος (Cohen 1988) . Στην αναλογική εποχή, οι ερευνητές γενικά διενήργησαν ανάλυση ισχύος για να βεβαιωθούν ότι η μελέτη τους δεν ήταν πολύ μικρή (δηλαδή, υπο-τροφοδοτούμενη). Τώρα, όμως, οι ερευνητές θα πρέπει να κάνουν ανάλυση ισχύος για να βεβαιωθούν ότι η μελέτη τους δεν είναι υπερβολικά μεγάλη (δηλαδή υπερφορτωμένη).

Συμπερασματικά, οι τρεις R-αντικαταστήσουν, βελτιώνουν και μειώνουν-παρέχουν αρχές που μπορούν να βοηθήσουν τους ερευνητές να χτίσουν την ηθική στα πειραματικά τους σχέδια. Φυσικά, κάθε μία από αυτές τις πιθανές αλλαγές στην Συναισθηματική Καταπόνηση εισάγει συμβιβασμούς. Για παράδειγμα, τα στοιχεία από τα φυσικά πειράματα δεν είναι πάντα τόσο καθαρά όσο αυτά από τυχαιοποιημένα πειράματα και η ενίσχυση του περιεχομένου θα μπορούσε να είναι πιο δύσκολη από άποψη υλικοτεχνικής από την παρεμπόδιση του περιεχομένου. Έτσι, ο σκοπός της υποβολής των αλλαγών αυτών δεν ήταν να υποθέσουμε τις αποφάσεις άλλων ερευνητών. Αντίθετα, έπρεπε να δείξει πώς μπορούν να εφαρμοστούν οι τρεις R σε μια ρεαλιστική κατάσταση. Στην πραγματικότητα, το ζήτημα των ανταλλαγών εμφανίζεται συνεχώς στο σχεδιασμό της έρευνας και στην ψηφιακή εποχή, αυτές οι ανταλλαγές θα περιλαμβάνουν όλο και περισσότερο δεοντολογικές εκτιμήσεις. Αργότερα, στο κεφάλαιο 6, θα προσφέρω κάποιες αρχές και ηθικά πλαίσια που θα βοηθήσουν τους ερευνητές να κατανοήσουν και να συζητήσουν αυτά τα συμπεράσματα.