4.4 Προχωρώντας πέρα από απλά πειράματα
Ας προχωρήσουμε πέρα από απλά πειράματα. Τρεις έννοιες είναι χρήσιμες για την πλούσια πειράματα: εγκυρότητα, η ετερογένεια των αποτελεσμάτων της θεραπείας, και το μηχανισμό.
Οι ερευνητές που είναι νέοι σε πειράματα συχνά επικεντρώνονται σε ένα πολύ συγκεκριμένο, στενό ερώτημα: κάνει αυτή τη θεραπεία "δουλειά"; Για παράδειγμα, κάνει ένα τηλεφώνημα από έναν εθελοντή να ενθαρρύνει κάποιον να ψηφίσει; Μήπως η αλλαγή ενός κουμπιού ιστοσελίδα από μπλε σε πράσινο click-through ποσοστό αύξησης; Δυστυχώς, χαλαρή διατύπωση για το τι "δουλεύει" συσκοτίζει το γεγονός ότι εστιάζονται πειράματα πραγματικά δεν σας πει εάν μια θεραπεία «δουλεύει» σε μια γενική έννοια. Αντίθετα, εστιάζονται πειράματα απαντήσει σε ένα πολύ πιο συγκεκριμένο ερώτημα: ποια είναι η μέση επίδραση της συγκεκριμένης θεραπείας με τη συγκεκριμένη εφαρμογή για αυτόν τον πληθυσμό των συμμετεχόντων σε αυτή τη στιγμή; Θα καλέσω πειράματα που εστιάζουν σε αυτό το στενό ερώτηση απλά πειράματα.
Απλά πειράματα μπορούν να παρέχουν πολύτιμες πληροφορίες, αλλά αποτυγχάνουν να απαντήσει σε πολλές ερωτήσεις που είναι τόσο σημαντικά και ενδιαφέροντα, όπως: υπάρχουν κάποιοι άνθρωποι για τους οποίους η θεραπεία είχε μια μεγαλύτερη ή μικρότερη επίδραση ?; είναι μια άλλη θεραπεία που θα ήταν πιο αποτελεσματικοί ?; και πώς αυτό το πείραμα σχετίζεται με ευρύτερες κοινωνικές θεωρίες;
Για να δείξει την αξία του κινείται πέρα από απλά πειράματα, ας εξετάσουμε ένα από τα αγαπημένα πειράματα αναλογικό τομέα μου, μια μελέτη του Π Wesley Schultz και οι συνεργάτες του για τη σχέση μεταξύ των κοινωνικών προτύπων και της κατανάλωσης ενέργειας (Schultz et al. 2007) . Schultz και οι συνεργάτες κρεμαστεί doorhangers σε 300 νοικοκυριά στο San Marcos, Καλιφόρνια, και αυτές οι doorhangers παραδοθεί διαφορετικά μηνύματα για την ενθάρρυνση της διατήρησης της ενέργειας. Στη συνέχεια, Schultz και οι συνεργάτες του μέτρησαν την επίδραση αυτών των μηνυμάτων για την κατανάλωση ηλεκτρικής ενέργειας, τόσο μετά από μία εβδομάδα και τρεις εβδομάδες? βλέπε Σχήμα 4.3 για μια πιο λεπτομερή περιγραφή του πειραματικού σχεδιασμού.
Σχήμα 4.3: Σχηματική του σχεδιασμού από Schultz et al. (2007) . Το πείραμα πεδίου περιελάμβανε επίσκεψη περίπου 300 νοικοκυριά στο San Marcos, Καλιφόρνια πέντε φορές πάνω από μια περίοδο οκτώ εβδομάδων. Σε κάθε επίσκεψη οι ερευνητές πήραν το χέρι μια ανάγνωση από το μετρητή ρεύματος του σπιτιού. Σε δύο από τις επισκέψεις οι ερευνητές τοποθέτησαν doorhangers για το σπίτι που παρέχει κάποιες πληροφορίες σχετικά με την ενεργειακή τους χρήση. Η έρευνα ερώτημα ήταν πώς το περιεχόμενο αυτών των μηνυμάτων θα επηρεάσει τη χρήση της ενέργειας.
Το πείραμα είχε δύο προϋποθέσεις. Στην πρώτη κατάσταση, τα νοικοκυριά έλαβαν συμβουλές εξοικονόμησης γενική ενέργειας (π.χ. ανεμιστήρες χρήση, αντί των κλιματιστικών) και πληροφορίες σχετικά με την κατανάλωση ενέργειας του νοικοκυριού τους σε σύγκριση με το μέσο όρο της χρήσης ενέργειας στη γειτονιά τους. Schultz και οι συνεργάτες του που ονομάζεται αυτό το περιγραφικό κανονιστική κατάσταση, επειδή οι πληροφορίες σχετικά με τη χρήση της ενέργειας στη γειτονιά τους παρέχονται πληροφορίες σχετικά με τυπική συμπεριφορά (δηλαδή, μια περιγραφική κανόνας). Όταν Schultz και οι συνεργάτες του εξέτασαν την προκύπτουσα κατανάλωση ενέργειας σε αυτή την ομάδα, η θεραπεία δεν φάνηκε να έχει καμία επίδραση, είτε βραχυπρόθεσμα ή μακροπρόθεσμα? Με άλλα λόγια, η θεραπεία δεν φαίνεται να "εργασία" (Εικόνα 4.4).
Αλλά, ευτυχώς, Schultz et al. (2007) δεν εγκατασταθούν για αυτή την απλοϊκή ανάλυση. Πριν από την έναρξη του πειράματος που αιτιολογημένη ότι τα βαρέα χρήστες της ηλεκτρικής ενέργειας άνθρωποι πάνω από την μέση μπορεί να μειώσει την κατανάλωσή τους, και ότι το φως τους χρήστες της ηλεκτρικής ενέργειας, οι άνθρωποι κάτω από τη μέση, θα μπορούσε πραγματικά να αυξήσει την κατανάλωσή τους. Όταν εξέτασαν τα δεδομένα, αυτό είναι ακριβώς αυτό που βρήκαν (Σχήμα 4.4). Έτσι, αυτό που φαινόταν σαν μια θεραπεία που έχει καμία επίδραση ήταν στην πραγματικότητα μια θεραπεία που είχε δύο συμψηφισμό αποτελέσματα. Οι ερευνητές ονομάζεται αυτό το αντιπαραγωγικό αύξηση μεταξύ των χρηστών φως ένα μπούμερανγκ.
Σχήμα 4.4: Τα αποτελέσματα από Schultz et al. (2007) . Ο πρώτος πίνακας δείχνει ότι η περιγραφική θεραπεία κανόνας έχει μια εκτιμώμενη μηδενική μέση επίδραση της θεραπείας. Ωστόσο, το δεύτερο πάνελ δείχνει ότι αυτός ο μέσος όρος της επίδρασης της θεραπείας είναι στην πραγματικότητα αποτελείται από δύο αντισταθμιστικές επιδράσεις. Για τα βαρέα χρήστες, η θεραπεία μειώθηκε χρήση, αλλά για το φως τους χρήστες, η θεραπεία αυξημένη χρήση. Τέλος, ο τρίτος πίνακας δείχνει ότι η δεύτερη αγωγή, η οποία χρησιμοποιείται περιγραφική και ασφαλιστικών κανόνων, είχε περίπου το ίδιο αποτέλεσμα για τα βαρέα χρήστες, αλλά μετριάζεται το μπούμερανγκ στο φως τους χρήστες.
Περαιτέρω, Schultz και οι συνεργάτες του αναμένεται αυτό το ενδεχόμενο, και τη δεύτερη προϋπόθεση που αναπτύσσεται μια ελαφρώς διαφορετική μεταχείριση, μια σαφώς σχεδιαστεί για να εξαλείψει το φαινόμενο μπούμερανγκ. Τα νοικοκυριά στη δεύτερη προϋπόθεση έλαβε τα ίδια ακριβώς μεταχείριση γενικές συμβουλές εξοικονόμησης ενέργειας και πληροφορίες σχετικά με την κατανάλωση ενέργειας του νοικοκυριού τους σε σύγκριση με τη γειτονιά, με ένα μικροσκοπικό προσθήκη τους: για άτομα με κάτω του μέσου όρου κατανάλωσης, οι ερευνητές πρόσθεσαν ένα :) και για άτομα με άνω του μέσου όρου κατανάλωσης πρόσθεσαν ένα :(. Αυτά τα emoticons έχουν σχεδιαστεί για να προκαλέσει αυτό που οι ερευνητές ονόμασαν ασφαλιστικά πρότυπα. ασφαλιστικά πρότυπα αναφέρονται σε αντιλήψεις για το τι είναι κοινώς εγκριθεί (και απορρίφθηκε), ενώ περιγραφικά πρότυπα αναφέρονται σε αντιλήψεις για το τι γίνεται συνήθως (Reno, Cialdini, and Kallgren 1993) .
Με την προσθήκη αυτή ένα μικρό emoticon, οι ερευνητές μείωσε δραματικά το μπούμερανγκ (Σχήμα 4.4). Έτσι, κάνοντας αυτό μια απλή αλλαγή μια αλλαγή που υποκινήθηκε από μια αφηρημένη κοινωνική ψυχολογική θεωρία (Cialdini, Kallgren, and Reno 1991) -οι ερευνητές ήταν σε θέση να μετατρέψει ένα πρόγραμμα από ένα που δεν φαίνεται να λειτουργεί σε ένα που εργαστεί, και, ταυτόχρονα, ήταν σε θέση να συμβάλει στη γενική κατανόηση του πώς κοινωνικές νόρμες επηρεάζουν την ανθρώπινη συμπεριφορά.
Σε αυτό το σημείο, όμως, μπορεί να παρατηρήσετε ότι κάτι είναι λίγο διαφορετικό για αυτό το πείραμα. Συγκεκριμένα, το πείραμα του Schultz και οι συνεργάτες του δεν έχουν πραγματικά μια ομάδα ελέγχου με τον ίδιο τρόπο που τυχαιοποιημένες ελεγχόμενες πειράματα κάνουμε. Η σύγκριση μεταξύ αυτού του σχεδιασμού και του σχεδιασμού των Restivo και van de Rijt απεικονίζει τις διαφορές μεταξύ των δύο μεγάλων σχέδια που χρησιμοποιούνται από τους ερευνητές. Σε μεταξύ των υποκειμένων σχέδια, όπως Restivo και van de Rijt, υπάρχει μια ομάδα θεραπείας και μια ομάδα ελέγχου, και εντός των υποκειμένων σχεδιάζει τη συμπεριφορά των συμμετεχόντων συγκρίνεται πριν και μετά την θεραπεία (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Σε μια κατά-υποκείμενο του πειράματος είναι σαν κάθε συμμετέχων ενεργεί ως δική του ομάδα ελέγχου της. Η δύναμη της μεταξύ των υποκειμένων σχεδίων είναι ότι παρέχει προστασία έναντι συγχυτικούς παράγοντες (όπως περιγράφηκε προηγουμένως), και η ισχύς του εντός των υποκειμένων πειράματα αυξάνεται ακρίβεια στις εκτιμήσεις. Όταν κάθε συμμετέχων ενεργεί ως δικό τους έλεγχο, μεταξύ συμμετέχων παραλλαγή αποβάλλεται (βλέπε το τεχνικό προσάρτημα). Για να προδιαγράφουν ένα που θα έρθει αργότερα, όταν θα προσφέρουν συμβουλές σχετικά με το σχεδιασμό ψηφιακών πειράματα, υπάρχει ένα τελικό σχέδιο, που ονομάζεται μικτή σχεδιασμό, που συνδυάζει τη βελτιωμένη ακρίβεια της εντός των υποκειμένων σχέδια και την προστασία κατά της σύγχυσης μεταξύ υποκειμένων σχέδια.
Σχήμα 4.5: Τρία πειραματικά σχέδια. Πρότυπο τυχαιοποιημένη ελεγχόμενη πειράματα χρησιμοποιούν μεταξύ των υποκειμένων σχέδια. Ένα παράδειγμα ενός μεταξύ των υποκειμένων σχεδιασμός είναι Restivo και van de Rijt του (2012) πείραμα για barnstars και των εισφορών με τη Wikipedia: ερευνητές χώρισαν τυχαία συμμετέχοντες σε ομάδες θεραπείας και ελέγχου, έδωσαν οι συμμετέχοντες στην ομάδα θεραπείας με barnstar, και σε σύγκριση με τα αποτελέσματα για τις δύο ομάδες. Ένας δεύτερος τύπος σχεδιασμού είναι ένα εντός-θέματα σχεδιασμού. Τα δύο πειράματα σε Schultz και ο συνάδελφός του (2007) μελέτη για τις κοινωνικές νόρμες και τη χρήση ενέργειας απεικονίζουν ένα πλαίσιο-θέματα σχεδιασμού: ερευνητές συνέκριναν τη χρήση ηλεκτρικής ενέργειας των συμμετεχόντων πριν και μετά τη λήψη της θεραπείας. Εντός των υποκειμένων σχέδια προσφέρουν βελτιωμένη στατιστική ακρίβεια, εξαλείφοντας μεταξύ υποκειμένου διακύμανσης (βλέπε το τεχνικό προσάρτημα), αλλά είναι ανοιχτή σε πιθανούς συγχυτικούς παράγοντες (π.χ., αλλαγές στον καιρό μεταξύ της περιόδου προ-επεξεργασία και επεξεργασία) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Εντός των υποκειμένων σχέδια είναι επίσης μερικές φορές καλείται επαναλαμβανόμενες μετρήσεις σχέδια. Τέλος, μικτά σχέδια συνδυάζουν τη βελτιωμένη ακρίβεια της εντός των υποκειμένων σχέδια και την προστασία κατά της σύγχυσης μεταξύ υποκειμένων σχέδια. Σε ένα μικτό σχέδιο, ένας ερευνητής συγκρίνει τη μεταβολή στα αποτελέσματα για τους ανθρώπους στις ομάδες θεραπείας και ελέγχου. Όταν οι ερευνητές έχουν ήδη πληροφορίες προεπεξεργασία, όπως συμβαίνει σε πολλές ψηφιακές πειράματα, μικτά σχέδια είναι προτιμότερο να μεταξύ των υποκειμένων σχεδίων, λόγω των κερδών της ακρίβειας (βλέπε το τεχνικό προσάρτημα).
Συνολικά, ο σχεδιασμός και τα αποτελέσματα της Schultz et al. (2007) δείχνουν την αξία της μετακίνησης πέρα από απλά πειράματα. Ευτυχώς, δεν χρειάζεται να είσαι ιδιοφυΐα για να δημιουργήσει τα πειράματα σαν αυτό. Οι κοινωνικοί επιστήμονες έχουν αναπτύξει τρεις έννοιες που θα σας καθοδηγήσει προς την πιο πλούσια και πιο δημιουργικά πειράματα: 1) το κύρος, 2) η ετερογένεια των αποτελεσμάτων της θεραπείας, και 3) μηχανισμούς. Δηλαδή, αν έχετε κρατήσει αυτές τις τρεις ιδέες στο μυαλό, ενώ σχεδιάζετε το πείραμά σας, θα δημιουργήσει φυσικά πιο ενδιαφέρουσα και χρήσιμη πειράματα. Για να τονίσει αυτές τις τρεις έννοιες σε δράση, θα περιγράψω μια σειρά από πειράματα παρακολούθησης μερικώς ψηφιακό τομέα που βασίζεται στην κομψή σχεδίαση και συναρπαστικά αποτελέσματα Schultz et al. (2007) . Όπως θα δείτε, με πιο προσεκτικό σχεδιασμό, την υλοποίηση, την ανάλυση και την ερμηνεία, μπορείτε επίσης να προχωρήσουμε πέρα από απλά πειράματα.
