4.6.2 Αντικατάσταση, Φίλτρα, και να μειώσει

Κάντε το πείραμά σας πιο ανθρώπινο με την αντικατάσταση των πειραμάτων με μη πειραματικές μελέτες, τελειοποίηση των θεραπειών, και μειώνοντας τον αριθμό των συμμετεχόντων.

Το δεύτερο κομμάτι των συμβουλών που θα ήθελα να προσφέρει για το σχεδιασμό ψηφιακών πειράματα αφορά τη δεοντολογία. Καθώς το πείραμα Restivo και van de Rijt για barnstars στη Wikipedia δείχνει, μείωση των δαπανών σημαίνει ότι η ηθική θα γίνει ένα όλο και πιο σημαντικό μέρος του σχεδιασμού της έρευνας. Εκτός από τα ηθικά πλαίσια κατευθυντήριες ανθρώπινου ερευνητικού θέματα που θα περιγράψω στο κεφάλαιο 6, οι ερευνητές σχεδιασμό ψηφιακών πειράματα μπορεί επίσης να αντλήσει από ηθικές ιδέες από μια διαφορετική πηγή: οι ηθικές αρχές που αναπτύχθηκαν για την καθοδήγηση πειράματα με ζώα. Συγκεκριμένα, στο βιβλίο ορόσημο Αρχές τους Humane πειραματική τεχνική, Russell and Burch (1959) πρότεινε τρεις αρχές που πρέπει να καθοδηγούν την έρευνα σε ζώα: Αντικατάσταση, Φίλτρα, και να μειώσει. Θα ήθελα να προτείνω ότι αυτά τα τρία R μπορεί επίσης να χρησιμοποιηθεί, σε μια ελαφρώς τροποποιημένη μορφή, για να καθοδηγήσει το σχεδιασμό των ανθρώπινων πειραμάτων. Συγκεκριμένα,

• Αντικατάσταση: Αντικαταστήστε τα πειράματα με λιγότερο επεμβατικές μεθόδους, αν είναι δυνατόν
• Βελτιώστε: Βελτιώστε τη θεραπεία για να είναι τόσο ακίνδυνο όσο το δυνατόν
• Μειώστε: Μειώστε τον αριθμό των συμμετεχόντων στο πείραμά σας όσο το δυνατόν περισσότερο

Προκειμένου να προβεί σε συγκεκριμένες Αυτά τα τρία R και δείχνουν πώς μπορούν να δυνητικά να οδηγήσει σε καλύτερο και πιο ανθρώπινο πειραματικό σχεδιασμό, θα περιγράψω μια online πείραμα πεδίο που δημιουργείται ηθική συζήτηση. Στη συνέχεια θα περιγράψω πώς τα τρία R προτείνουν συγκεκριμένες και πρακτικές αλλαγές στο σχεδιασμό του πειράματος.

Ένα από τα πιο ηθικά συζητηθεί πειράματα ψηφιακό τομέα είναι «Συναισθηματική Contagion», η οποία διεξήχθη από τον Adam Kramer, Jamie Gillroy, και Jeffrey Hancock (2014) . Το πείραμα πραγματοποιήθηκε στο Facebook και υποκινήθηκε από ένα μείγμα των επιστημονικών και πρακτικά ερωτήματα. Εκείνη την εποχή, η κυρίαρχη τρόπο που οι χρήστες αλληλεπιδρούν με το Facebook ήταν το News Feed, ένα αλγοριθμικά επιμέλεια σύνολο Facebook ενημερώσεις κατάστασης από τους φίλους του Facebook του χρήστη. Μερικοί κριτικοί του Facebook είχε προτείνει ότι επειδή η News Feed έχει ως επί το πλείστον θετικές θέσεις-φίλους επίδειξη τελευταία τους κόμμα-θα μπορούσε να προκαλέσει στους χρήστες να αισθάνονται λυπημένοι επειδή οι ζωές τους φαίνονται λιγότερο συναρπαστικό σε σύγκριση. Από την άλλη πλευρά, ίσως το αποτέλεσμα είναι ακριβώς το αντίθετο? ίσως βλέποντας το φίλο σας έχουν μια καλή στιγμή θα σας κάνει να νιώσετε ευτυχισμένοι; Για να αντιμετωπιστούν αυτά τα ανταγωνιστικά υπόθεση-και να διευρύνει την κατανόηση του πώς τα συναισθήματα ενός ατόμου επηρεάζεται από τους φίλους της «συναισθήματα-Kramer και οι συνεργάτες του έτρεξε ένα πείραμα. Οι ερευνητές τοποθέτησαν περίπου 700.000 χρήστες σε τέσσερις ομάδες για μία εβδομάδα: μια ομάδα "μειωμένη αρνητικότητα», για τους οποίους θέσεις με αρνητικές λέξεις (π.χ., λυπημένος) επιλέχθηκαν τυχαία μπλοκάρει την εμφάνιση του News Feed? ένα «θετικότητα μειωμένη" της ομάδας για τους οποίους θέσεις με θετικά λόγια (π.χ., ευτυχισμένος) τυχαία μπλοκαριστεί? και δύο ομάδες ελέγχου. Στην ομάδα ελέγχου για την «αρνητικότητα μειωμένη" της ομάδας, θέσεις τυχαία μπλοκαριστεί με τον ίδιο ρυθμό όπως το "αρνητικότητα μειωμένη" της ομάδας, αλλά χωρίς να λαμβάνεται υπόψη το συναισθηματικό περιεχόμενο. Η ομάδα ελέγχου για την «θετικότητα μειωμένο» ομάδα κατασκευάστηκε με παράλληλο τρόπο. Ο σχεδιασμός αυτού του πειράματος δείχνει ότι η κατάλληλη ομάδα ελέγχου δεν είναι πάντα ένα χωρίς τροποποιήσεις. Αντίθετα, μερικές φορές η ομάδα ελέγχου λαμβάνει θεραπεία, προκειμένου να δημιουργήσει την ακριβή σύγκριση ότι ένα ερευνητικό ερώτημα απαιτεί. Σε όλες τις περιπτώσεις, οι θέσεις που είχαν μπλοκαριστεί από το News Feed ήταν ακόμα διαθέσιμα στους χρήστες μέσω άλλων τμημάτων της ιστοσελίδας του Facebook.

Kramer και οι συνεργάτες του διαπίστωσαν ότι για τους συμμετέχοντες στη θετικότητα μειωμένη κατάσταση, το ποσοστό των θετικών λέξεων σε ενημερώσεις κατάστασης τους μειώθηκε και το ποσοστό των αρνητικών λέξεων αυξηθεί. Από την άλλη πλευρά, για τους συμμετέχοντες στο αρνητικότητα μειωμένη κατάσταση, το ποσοστό των θετικών λέξεων αυξήθηκε και το ποσοστό των αρνητικών λέξεων μειώθηκε (Σχήμα 4.23). Ωστόσο, τα αποτελέσματα αυτά ήταν αρκετά μικρό: η διαφορά σε θετικές και αρνητικές λέξεις μεταξύ των θεραπειών και των ελέγχων ήταν περίπου 1 στις 1.000 λέξεις.

Σχήμα 4.23: Τα στοιχεία της συναισθηματικής μετάδοσης (Kramer, Guillory, and Hancock 2014) . Ποσοστό των θετικών λέξεων και αρνητικές λέξεις από την πειραματική κατάσταση. Μπαρ αντιπροσωπεύουν εκτιμάται τυπικά σφάλματα.

Έχω βάλει μια συζήτηση για τις επιστημονικές πτυχές αυτού του πειράματος στην περαιτέρω τμήμα ανάγνωσης στο τέλος του κεφαλαίου, αλλά, δυστυχώς, αυτό το πείραμα είναι πιο γνωστή για τη δημιουργία ηθικών συζήτηση. Λίγες μέρες μετά από αυτό το έγγραφο δημοσιεύθηκε στα Πρακτικά της Εθνικής Ακαδημίας Επιστημών, υπήρχε μια τεράστια κατακραυγή και από τις δύο ερευνητές και τον Τύπο. Οργή σε όλο το έγγραφο επικεντρώθηκε σε δύο βασικά σημεία: 1) οι συμμετέχοντες δεν παρέχει καμία συναίνεση πέρα ​​από τις τυπικές Facebook όρους-of-service για μια θεραπεία που κάποια σκέψη θα μπορούσε να προκαλέσει βλάβη στους συμμετέχοντες και 2) η μελέτη δεν είχαν υποβληθεί σε τρίτους ηθικές επανεξέταση (Grimmelmann 2015) . Τα ηθικά ερωτήματα που τέθηκαν στη συζήτηση αυτή προκάλεσε το περιοδικό για να δημοσιεύσει γρήγορα μια σπάνια «συντακτική έκφραση ανησυχίας» για την ηθική και δεοντολογική διαδικασία αναθεώρησης για την έρευνα (Verma 2014) . Κατά τα επόμενα έτη, το πείραμα έχει συνέχισε να αποτελεί πηγή έντονης συζήτησης και διαφωνίας, και αυτή η διαφωνία μπορεί να είχε το ανεπιθύμητο αποτέλεσμα της οδήγησης στις σκιές πολλά άλλα πειράματα που εκτελούνται από εταιρείες (Meyer 2014) .

Δεδομένου ότι το υπόστρωμα για τη Συναισθηματική Contagion, θα ήθελα τώρα να δείξει ότι η 3 R μπορεί να σας προτείνει συγκεκριμένες, πρακτικές βελτιώσεις για την πραγματική μελέτες (ό, τι μπορείτε να σκεφτείτε προσωπικά για την ηθική του συγκεκριμένου πειράματος). Η πρώτη R είναι Αντικατάσταση: οι ερευνητές θα πρέπει να επιδιώκουν να αντικαταστήσουν τα πειράματα με λιγότερο επεμβατικές και επικίνδυνο τεχνικές, αν είναι δυνατόν. Για παράδειγμα, αντί να τρέχει ένα πείραμα, οι ερευνητές θα μπορούσαν να έχουν αξιοποιηθεί ένα φυσικό πείραμα. Όπως περιγράφεται στο κεφάλαιο 2, τα φυσικά πειράματα είναι καταστάσεις όπου κάτι συμβαίνει στον κόσμο που προσεγγίζει την τυχαία ανάθεση των θεραπειών (π.χ., μια κλήρωση για να αποφασίσει ποιος θα συνταχθεί στο στρατιωτικό). Το πλεονέκτημα ενός φυσικού πειράματος είναι ότι ο ερευνητής δεν έχει να προσφέρει θεραπείες? το περιβάλλον κάνει αυτό για σας. Με άλλα λόγια, με ένα φυσικό πείραμα, οι ερευνητές δεν θα χρειάζεται να χειραγωγήσουν πειραματικά ανθρώπων News Feeds.

Στην πραγματικότητα, σχεδόν ταυτόχρονα με την συναισθηματική πείραμα Contagion, Coviello et al. (2014) ήταν αξιοποιώντας ό, τι θα μπορούσε να ονομαστεί ένα συναισθηματικό Contagion φυσικό πείραμα. Η προσέγγισή τους, η οποία χρησιμοποιεί μια τεχνική που ονομάζεται βοηθητικές μεταβλητές, είναι λίγο περίπλοκη, αν ποτέ δεν έχετε δει πριν. Έτσι, προκειμένου να εξηγήσει γιατί ήταν απαραίτητη, ας οικοδομήσουμε επάνω σε αυτό. Η πρώτη ιδέα που κάποιοι ερευνητές μπορεί να έχουν να μελετήσουν συναισθηματική μετάδοσης θα ήταν να συγκρίνουν τις δημοσιεύσεις σας σε ημέρες όπου News Feed σας ήταν πολύ θετική για τις δημοσιεύσεις σας σε ημέρες όπου News Feed σας ήταν πολύ αρνητική. Η προσέγγιση αυτή θα ήταν μια χαρά, αν ο στόχος ήταν απλά να προβλέψει το συναισθηματικό περιεχόμενο των μηνυμάτων σας, αλλά αυτή η προσέγγιση είναι προβληματική εάν ο στόχος είναι να μελετήσει την αιτιώδη επίδραση της News Feed σας στις αναρτήσεις σας. Για να δείτε το πρόβλημα με αυτό το σχέδιο, να εξετάσει την Ημέρα των Ευχαριστιών. Στις ΗΠΑ, οι θετικές θέσεις ακίδα και αρνητικές θέσεις πέφτουν κατακόρυφα την Ημέρα των Ευχαριστιών. Έτσι, για την Ημέρα των Ευχαριστιών, οι ερευνητές μπορούσαν να δουν ότι News Feed σας ήταν πολύ θετική και ότι θα δημοσιεύσει θετικά πράγματα, όπως καλά. Όμως, η θετική δημοσιεύσεις σας θα μπορούσε να έχει προκληθεί από την ημέρα των ευχαριστιών όχι από το περιεχόμενο της News Feed σας. Αντ 'αυτού, προκειμένου να εκτιμηθεί η αιτιώδης ερευνητές επίδραση χρειάζεστε κάτι που αλλάζει το περιεχόμενο της News Feed σας, χωρίς άμεση αλλαγή των συναισθημάτων σας. Ευτυχώς, υπάρχει κάτι τέτοιο συμβαίνει όλη την ώρα: τις καιρικές συνθήκες.

Coviello και οι συνεργάτες του διαπίστωσαν ότι μια βροχερή μέρα στην πόλη κάποιος θα, κατά μέσο όρο, να μειώσει το ποσοστό των θέσεων που είναι θετικά κατά περίπου 1 εκατοστιαία μονάδα και να αυξήσει το ποσοστό των θέσεων που είναι αρνητικά κατά περίπου 1 εκατοστιαία μονάδα. Στη συνέχεια, Coviello και οι συνεργάτες εκμεταλλεύονται αυτό το γεγονός για να μελετήσει τη συναισθηματική μετάδοσης, χωρίς την ανάγκη να χειραγωγήσουν πειραματικά κανενός News Feed. Στην ουσία αυτό που έκαναν είναι μέτρο πώς δημοσιεύσεις σας επηρεάστηκαν από τις καιρικές συνθήκες στις πόλεις όπου ζουν οι φίλοι σας. Για να δούμε γιατί αυτό έχει νόημα, φανταστείτε ότι ζείτε στην πόλη της Νέας Υόρκης και έχετε ένα φίλο που ζει στο Σιάτλ. Τώρα φανταστείτε ότι μια μέρα αρχίζει να βρέχει στο Σιάτλ. Αυτή η βροχή στο Seattle δεν θα επηρεάσει άμεσα τη διάθεσή σας, αλλά θα προκαλέσει News Feed σας να είναι λιγότερο θετικές και πιο αρνητικές, λόγω των θέσεων του φίλου σας. Έτσι, η βροχή στο Seattle χειρίζεται τυχαία News Feed σας. Μετατρέποντας αυτή την διαίσθηση σε μια αξιόπιστη στατιστική διαδικασία είναι περίπλοκη (και η ακριβής προσέγγιση που χρησιμοποιείται από Coviello και οι συνεργάτες του είναι λίγο μη-πρότυπο) έτσι έχω βάλει μια πιο λεπτομερή συζήτηση για την περαιτέρω τμήμα ανάγνωσης. Το πιο σημαντικό πράγμα που πρέπει να θυμάστε σχετικά με Coviello και η προσέγγιση του συναδέλφου είναι ότι τους έδωσε τη δυνατότητα να μελετήσει τη συναισθηματική μετάδοσης χωρίς την ανάγκη να τρέξει ένα πείραμα που θα μπορούσαν δυνητικά να βλάψουν τους συμμετέχοντες, και μπορεί να είναι η υπόθεση ότι σε πολλές άλλες ρυθμίσεις που μπορείτε να αντικαταστήσετε τα πειράματα με άλλες τεχνικές.

Δεύτερη στις 3 Rs είναι Περιορισμού: οι ερευνητές θα πρέπει να επιδιώξει να βελτιώσετε τις θεραπείες τους με σκοπό να προκαλέσει όσο το δυνατόν μικρότερο κακό. Για παράδειγμα, αντί μπλοκαρίσματος περιεχομένου που ήταν είτε θετικά είτε αρνητικά, οι ερευνητές θα μπορούσαν να ενισχυθούν περιεχομένου που ήταν θετική ή αρνητική. Αυτή η ενίσχυση του σχεδιασμού θα είχε αλλάξει το συναισθηματικό περιεχόμενο των συμμετεχόντων Ροές Ειδήσεων, αλλά θα αντιμετωπιστεί μία από τις ανησυχίες ότι οι κριτικοί εξέφρασαν: ότι τα πειράματα θα μπορούσαν να έχουν προκαλέσει τους συμμετέχοντες να χάσετε σημαντικές πληροφορίες στις Ειδήσεις τους Feed. Με το σχέδιο που χρησιμοποιείται από τους Kramer και οι συνεργάτες του, ένα μήνυμα που έχει σημασία είναι τόσο πιθανό να μπλοκαριστεί ως ένα που δεν είναι. Ωστόσο, με μια ενίσχυση της σχεδιασμό, τα μηνύματα που θα εκτοπιστεί θα είναι εκείνοι που είναι λιγότερο σημαντικές.

Τέλος, η τρίτη R είναι Μειώστε: οι ερευνητές θα πρέπει να επιδιώξει να μειώσει τον αριθμό των συμμετεχόντων στο πείραμα τους, αν είναι δυνατόν. Στο παρελθόν, η μείωση αυτή συνέβη φυσικά επειδή το μεταβλητό κόστος της αναλογικής πειραμάτων ήταν υψηλή, η οποία ενθάρρυνε την έρευνα για τη βελτιστοποίηση του σχεδιασμού και την ανάλυσή τους. Ωστόσο, όταν υπάρχει μηδενική δεδομένων μεταβλητού κόστους, οι ερευνητές δεν αντιμετωπίζουν έναν περιορισμό του κόστους με το μέγεθος του πειράματος τους, και αυτό έχει τη δυνατότητα να οδηγήσει σε άσκοπα μεγάλα πειράματα.

Για παράδειγμα, Kramer και οι συνεργάτες του θα μπορούσαν να έχουν χρησιμοποιηθεί πληροφορίες προ-θεραπεία για τους συμμετέχοντες, όπως τους ως απόσπαση προ-θεραπεία συμπεριφοράς-για να κάνουν την ανάλυση τους πιο αποτελεσματική. Πιο συγκεκριμένα, αντί συγκρίνοντας το ποσοστό των θετικών λέξεων στις συνθήκες επεξεργασίας και ελέγχου, Kramer και οι συνεργάτες θα μπορούσαν να έχουν σχέση με την αλλαγή στην αναλογία των θετικών λέξεων μεταξύ συνθήκες? μια προσέγγιση που συχνά αποκαλείται διαφορά-σε-διαφορές και οι οποίες είναι στενά συνδεδεμένη με το μικτό σχέδιο που περιέγραψα νωρίτερα στο κεφάλαιο (Εικόνα 4.5). Δηλαδή, για κάθε συμμετέχοντα, οι ερευνητές θα μπορούσαν να έχουν δημιουργήσει μια αλλαγή βαθμολογίας (συμπεριφορά μετά τη θεραπεία - συμπεριφορά προ-θεραπεία) και, στη συνέχεια, σε σύγκριση με τις βαθμολογίες των συμμετεχόντων στις συνθήκες επεξεργασίας και ελέγχου των αλλαγών. Αυτή η προσέγγιση διαφορά-σε-διαφορές είναι πιο αποτελεσματική στατιστικώς, πράγμα που σημαίνει ότι οι ερευνητές μπορούν να επιτύχουν τον ίδιο στατιστικό αυτοπεποίθηση χρησιμοποιώντας πολύ μικρότερα δείγματα. Με άλλα λόγια, με το να μην τη θεραπεία τους συμμετέχοντες όπως «widgets», οι ερευνητές μπορούν να παίρνουν συχνά πιο ακριβείς εκτιμήσεις.

Χωρίς να έχει την πρωτογενή δεδομένα είναι δύσκολο να γνωρίζουμε ακριβώς πόσο πιο αποτελεσματική προσέγγιση διαφορά-σε-διαφορές θα ήταν σε αυτή την περίπτωση. Αλλά, Deng et al. (2013) ανέφεραν ότι σε τρία απευθείας σύνδεση πειράματα σχετικά με την μηχανή αναζήτησης Bing ήταν σε θέση να μειώσουν τη διακύμανση των εκτιμήσεών τους κατά περίπου 50%, και έχουν παρόμοια αποτελέσματα έχουν αναφερθεί για κάποια online πειράματα στο Netflix (Xie and Aurisset 2016) . Η μείωση αυτή διακύμανση 50% σημαίνει ότι η συναισθηματική ερευνητές Contagion μπορούσε να ήταν σε θέση να κόψει το δείγμα τους στο μισό, αν είχαν χρησιμοποιήσει μια ελαφρώς διαφορετικές μεθόδους ανάλυσης. Με άλλα λόγια, με μια μικρή αλλαγή στην ανάλυση, 350.000 άνθρωποι μπορεί να έχουν γλιτώσει τη συμμετοχή στο πείραμα.

Σε αυτό το σημείο ίσως να αναρωτιέστε γιατί οι ερευνητές θα πρέπει να με νοιάζει αν 350.000 άνθρωποι ήταν σε συναισθηματική Contagion άσκοπα. Υπάρχουν δύο ιδιαίτερα χαρακτηριστικά της συναισθηματικής Contagion που κάνουν ανησυχία με υπερβολικό μέγεθος κατάλληλο, και αυτά τα κοινά χαρακτηριστικά πολλά πειράματα ψηφιακό τομέα: 1) υπάρχει αβεβαιότητα σχετικά με το αν το πείραμα θα προκαλέσουν βλάβη σε τουλάχιστον ορισμένους συμμετέχοντες και 2) η συμμετοχή δεν ήταν εθελοντικώς. Σε πειράματα με τα δύο αυτά χαρακτηριστικά κρίνεται σκόπιμο να κρατήσει τα πειράματα όσο το δυνατόν μικρότερη.

Συμπερασματικά, οι τρεις R's-Αντικαταστήστε, Περιορισμοί, και να μειώσει, να παρέχουν αρχές που μπορούν να βοηθήσουν τους ερευνητές να οικοδομήσουν την ηθική σε πειραματικά σχέδια τους. Φυσικά, κάθε μία από αυτές τις πιθανές αλλαγές στην Συναισθηματική Contagion εισάγει συμβιβασμούς. Για παράδειγμα, στοιχεία από τα φυσικά πειράματα δεν είναι πάντα τόσο καθαρή όσο αποδεικτικά στοιχεία από τυχαιοποιημένες πειράματα και ενίσχυση θα μπορούσε να ήταν πιο εφοδιαστικά δύσκολο να υλοποιηθούν από το μπλοκ. Έτσι, ο σκοπός της προτείνοντας αυτές τις αλλαγές δεν ήταν να προλέγουν τις αποφάσεις των άλλων ερευνητών. Μάλλον, ήταν για να δείξουμε πώς τα τρία R που θα μπορούσε να εφαρμοστεί σε μια ρεαλιστική κατάσταση.