4.4.1 Ισχύς
Ισχύς αναφέρεται στο πόσο τα αποτελέσματα ενός πειράματος υποστηρίζουν μια πιο γενικό συμπέρασμα.
Κανένα πείραμα δεν είναι τέλεια, και οι ερευνητές έχουν αναπτύξει ένα εκτεταμένο λεξιλόγιο για να περιγράψει τα πιθανά προβλήματα. Ισχύς αναφέρεται στο βαθμό στον οποίο τα αποτελέσματα του συγκεκριμένου πειράματος υποστηρίζουν κάποια πιο γενικό συμπέρασμα. Οι κοινωνικοί επιστήμονες έχουν διαπιστώσει ότι είναι χρήσιμο να χωρίσει κύρος σε τέσσερις βασικούς τύπους: στατιστική εγκυρότητα συμπέρασμα, εσωτερική εγκυρότητα, δομική εγκυρότητα και εξωτερική εγκυρότητα (Shadish, Cook, and Campbell 2001, Ch 2) . Mastering τις έννοιες αυτές θα σας δώσει μια διανοητική λίστα ελέγχου για σχολιασμό και τη βελτίωση του σχεδιασμού και της ανάλυσης ενός πειράματος, και αυτό θα σας βοηθήσει να επικοινωνούν με άλλους ερευνητές.
Στατιστική εγκυρότητα συμπέρασμα κέντρα γύρω από το αν η στατιστική ανάλυση του πειράματος έγινε σωστά. Στο πλαίσιο της Schultz et al. (2007) τέτοια ερώτηση θα μπορούσε να επικεντρωθεί για το αν υπολογίζεται π-αξίες τους σωστά. Η στατιστική ανάλυση είναι πέρα από το πεδίο αυτού του βιβλίου, αλλά μπορώ να πω ότι οι στατιστικές αρχές που απαιτούνται για το σχεδιασμό και την ανάλυση πειραμάτων δεν έχουν αλλάξει στην ψηφιακή εποχή. Ωστόσο, το διαφορετικό περιβάλλον δεδομένων σε ψηφιακή πειράματα δεν δημιουργεί νέες στατιστικές ευκαιρίες (π.χ., με τη χρήση μεθόδων μηχανικής μάθησης για την εκτίμηση ετερογένεια των αποτελεσμάτων της θεραπείας (Imai and Ratkovic 2013) ) και τις νέες υπολογιστικές προκλήσεις (π.χ., εμποδίζοντας σε μαζική πειράματα (Higgins, Sävje, and Sekhon 2016) ).
Εσωτερική εγκυρότητα κέντρα γύρω από το αν οι πειραματικές διαδικασίες πραγματοποιήθηκαν σωστά. Επιστρέφοντας στο πείραμα του Schultz et al. (2007) , ερωτήσεις σχετικά με την εσωτερική εγκυρότητα θα μπορούσε να επικεντρωθεί γύρω από την τυχαιοποίηση, η παράδοση της θεραπείας, και τη μέτρηση των αποτελεσμάτων. Για παράδειγμα, ίσως να ανησυχούν ότι οι βοηθοί έρευνας δεν είχε διαβάσει τα ηλεκτρικά μέτρα αξιόπιστα. Στην πραγματικότητα, Schultz και οι συνεργάτες του ήταν ανησυχούν για το πρόβλημα αυτό και είχαν ένα δείγμα των μέτρων διαβάσει δύο φορές? Ευτυχώς, τα αποτελέσματα ήταν ουσιαστικά ταυτόσημες. Σε γενικές γραμμές, Schultz και το πείραμα των συναδέλφων φαίνεται να έχουν υψηλή εσωτερική εγκυρότητα, αλλά αυτό δεν συμβαίνει πάντα? περίπλοκο τομέα και σε απευθείας σύνδεση πειράματα συχνά αντιμετωπίζουν προβλήματα στην πραγματικότητα παρέχοντας τη σωστή θεραπεία για τους σωστούς ανθρώπους και τη μέτρηση των αποτελεσμάτων για όλους. Ευτυχώς, η ψηφιακή εποχή μπορεί να βοηθήσει να μειώσει τις ανησυχίες σχετικά με την εσωτερική εγκυρότητα, διότι καθιστά ευκολότερο να εξασφαλιστεί ότι η θεραπεία παρέχεται ως σχεδιαστεί για εκείνους που υποτίθεται ότι πρέπει να το παραλάβει και να μετρήσει τα αποτελέσματα για όλους τους συμμετέχοντες.
Κατασκευάστε κέντρα ισχύος γύρω από τον αγώνα μεταξύ των δεδομένων και τις θεωρητικές κατασκευές. Όπως αναφέρθηκε στο Κεφάλαιο 2, κατασκευάσματα είναι αφηρημένες έννοιες που οι κοινωνικοί επιστήμονες λόγο για. Δυστυχώς, αυτές οι αφηρημένες έννοιες δεν είναι πάντα σαφείς ορισμούς και τις μετρήσεις. Επιστρέφοντας στην Schultz et al. (2007) , ο ισχυρισμός ότι τα ασφαλιστικά κοινωνικές νόρμες μπορούν να μειώσουν τη χρήση ηλεκτρικής ενέργειας απαιτεί από τους ερευνητές να σχεδιάσουν μια θεραπεία που θα χειραγωγήσουν "τα ασφαλιστικά κοινωνικά πρότυπα» (π.χ., ένα emoticon) και να μετρήσει "χρήση ηλεκτρικής ενέργειας». Σε αναλογική πειράματα, πολλοί ερευνητές σχεδίασαν το δικό τους θεραπείες και μετρώνται τα δικά τους αποτελέσματα. Η προσέγγιση αυτή εξασφαλίζει ότι, όσο το δυνατόν, τα πειράματα ταιριάζουν οι αφηρημένες δομές που μελετάται. Στην ψηφιακή πειράματα όπου οι ερευνητές συνεργαζόμαστε με εταιρείες ή τις κυβερνήσεις να παρέχουν θεραπείες και χρησιμοποιείτε πάντα-για συστήματα δεδομένων για τη μέτρηση των αποτελεσμάτων, ο αγώνας μεταξύ του πειράματος και τις θεωρητικές κατασκευές μπορεί να είναι λιγότερο σφιχτό. Έτσι, περιμένω ότι η ισχύς κατασκεύασμα θα τείνουν να είναι μια μεγαλύτερη ανησυχία σε ψηφιακή πειράματα από την αναλογική πειράματα.
Τέλος, εξωτερική εγκυρότητα κέντρα γύρω από το αν τα αποτελέσματα αυτού του πειράματος θα γενικεύουν σε άλλες καταστάσεις. Επιστρέφοντας στην Schultz et al. (2007) , θα μπορούσε κανείς να ζητήσει, αυτό θα ίδια ιδέα, την παροχή στους ανθρώπους των πληροφοριών σχετικά με την ενεργειακή τους χρήση σε σχέση με τους συνομηλίκους τους και ένα σήμα των ασφαλιστικών κανόνων (π.χ., ένα emoticon) -Μείωση χρήση της ενέργειας, αν είχε γίνει με διαφορετικό τρόπο σε μια διαφορετική ρύθμιση; Για πιο καλά σχεδιασμένη και καλά διοικούμενο πειράματα, οι ανησυχίες για την εξωτερική εγκυρότητα είναι το πιο δύσκολο να αντιμετωπιστούν. Στο παρελθόν, αυτές οι συζητήσεις σχετικά με την εξωτερική εγκυρότητα ήταν συχνά απλώς ένα μάτσο ανθρώπους που κάθονται σε ένα δωμάτιο προσπαθώντας να φανταστεί τι θα είχε συμβεί εάν οι διαδικασίες που έγιναν με διαφορετικό τρόπο ή σε διαφορετική θέση, ή με διαφορετικούς ανθρώπους. Ευτυχώς, η ψηφιακή εποχή δίνει τη δυνατότητα στους ερευνητές να προχωρήσουμε πέρα από αυτά τα δεδομένα χωρίς εικασίες και να αξιολογήσει την εξωτερική εγκυρότητα εμπειρικά.
Επειδή τα αποτελέσματα από Schultz et al. (2007) ήταν τόσο συναρπαστική, μια εταιρεία που ονομάζεται Opower συνεργάζεται με επιχειρήσεις κοινής ωφέλειας στις Ηνωμένες Πολιτείες για να αναπτύξετε την θεραπεία ευρύτερα. Με βάση το σχεδιασμό του Schultz et al. (2007) , Opower δημιουργήθηκε προσαρμοσμένη Home Energy εκθέσεις που είχε δύο κύριες ενότητες, μια που δείχνει τη χρήση της ηλεκτρικής ενέργειας σε σχέση ενός νοικοκυριού τους γείτονές της με μια φατσούλα και μια που παρέχει συμβουλές για τη μείωση της χρήσης ενέργειας (Σχήμα 4.6). Στη συνέχεια, σε συνεργασία με τους ερευνητές, Opower έτρεξε τυχαιοποιημένη ελεγχόμενη πειράματα για να αξιολογηθεί ο αντίκτυπος των εκθέσεων Home Energy. Ακόμα κι αν οι θεραπείες σε αυτά τα πειράματα συνήθως παραδίδονται φυσικά, συνήθως μέσω ντεμοντέ ταχυδρομείου σαλιγκάρι-το αποτέλεσμα μετρήθηκε με τη χρήση ψηφιακών συσκευών στον φυσικό κόσμο (π.χ., μετρητές ηλεκτρικής ενέργειας). Αντί χειροκίνητα τη συλλογή αυτών των πληροφοριών με την έρευνα βοηθοί επισκέπτονται κάθε σπίτι, τα πειράματα Opower ήταν όλα γίνονται σε συνεργασία με τις εταιρείες ηλεκτρικής ενέργειας επιτρέπει στους ερευνητές να έχουν πρόσβαση στις ενδείξεις ισχύος. Έτσι, αυτά τα πειράματα μερικώς ψηφιακό τομέα έτρεξαν σε μαζική κλίμακα σε χαμηλό μεταβλητό κόστος.
Σχήμα 4.6: Τα Home Εκθέσεις Ενέργειας Allcott (2011) είχε μια μονάδα κοινωνικής σύγκρισης και ένα Βήματα Δράση Ενότητα.
Σε μια πρώτη σειρά πειραμάτων που αφορούν 600.000 νοικοκυριά εξυπηρετούνται από 10 εταιρείες κοινής ωφέλειας γύρω από τις Ηνωμένες Πολιτείες, Allcott (2011) διαπίστωσε η έκθεση Home Energy μείωσε την κατανάλωση ηλεκτρικής ενέργειας κατά 1,7%. Με άλλα λόγια, τα αποτελέσματα από το πολύ μεγαλύτερο, πιο γεωγραφική διασπορά μελέτη ήταν ποιοτικά παρόμοια με τα αποτελέσματα από Schultz et al. (2007) . Όμως, το μέγεθος της επίδρασης ήταν μικρότερη: στο Schultz et al. (2007) τα νοικοκυριά στην περιγραφική και injective κατάσταση πρότυπα (το ένα με το emoticon) μειωμένη κατανάλωση ηλεκτρικής ενέργειας κατά 5%. Η ακριβής αιτία για αυτή τη διαφορά είναι άγνωστη, αλλά Allcott (2011) υπέθεσαν ότι λαμβάνει ένα χειρόγραφο φατσούλα ως μέρος μιας μελέτης που χρηματοδοτείται από ένα πανεπιστήμιο μπορεί να έχει μια μεγαλύτερη επίδραση στη συμπεριφορά από ό, τι λαμβάνει ένα τυπωμένο φατσούλα ως μέρος μιας μαζικής παραγωγής έκθεση από μια εταιρεία ηλεκτρισμού.
Περαιτέρω, σε μεταγενέστερες έρευνες, Allcott (2015) ανέφεραν σε επιπλέον 101 πειράματα με επιπλέον 8 εκατομμύρια νοικοκυριά. Σε αυτά τα επόμενα 101 πειράματα η έκθεση Home Energy συνέχισαν να κάνουν τους ανθρώπους να μειώσουν την κατανάλωση ηλεκτρικής ενέργειας, αλλά τα αποτελέσματα ήταν ακόμη μικρότερο. Ο ακριβής λόγος για αυτή την μείωση δεν είναι γνωστή, αλλά Allcott (2015) υπέθεσαν ότι η αποτελεσματικότητα της έκθεσης φάνηκε να μειώνεται διαχρονικά, επειδή στην πραγματικότητα εφαρμόζεται σε διαφορετικούς τύπους των συμμετεχόντων. Πιο συγκεκριμένα, επιχειρήσεις κοινής ωφέλειας σε περισσότερες περιβαλλοντολόγος περιοχές ήταν πιο πιθανό να εγκρίνει το πρόγραμμα νωρίτερα και οι πελάτες τους ήταν να ανταποκρίνεται περισσότερο στη θεραπεία. Όπως κοινής ωφέλειας με λιγότερες περιβαλλοντικές πελάτες ενέκρινε το πρόγραμμα, η αποτελεσματικότητά του φαίνεται να μειώνονται. Έτσι, ακριβώς όπως τυχαιοποίηση σε πειράματα διασφαλίζει ότι η ομάδα θεραπείας και ελέγχου είναι παρόμοια, τυχαιοποίηση σε ερευνητικά κέντρα διασφαλίζει ότι οι εκτιμήσεις μπορεί να γενικευθεί από μια ομάδα συμμετεχόντων σε ένα πιο γενικό πληθυσμό (σκεφτείτε πίσω στο κεφάλαιο 3 σχετικά με τη δειγματοληψία). Αν ερευνητικά κέντρα, δεν πραγματοποιείται δειγματοληψία τυχαία, τότε γενίκευση-ακόμη και από ένα τέλεια σχεδιασμένο και διεξήχθη το πείραμα, μπορεί να είναι προβληματική.
Μαζί, αυτά τα 111 πειράματα-10 στο Allcott (2011) και 101 σε Allcott (2015) -involved περίπου 8,5 εκατομμύρια νοικοκυριά σε όλο τον Ηνωμένες Πολιτείες. Τα σταθερά δείχνουν ότι Εκθέσεις Home Energy μείωση της μέσης κατανάλωσης ηλεκτρικής ενέργειας, ένα αποτέλεσμα που να υποστηρίζει τα αρχικά ευρήματα της Schultz και συναδέλφους από 300 σπίτια στην Καλιφόρνια. Πέρα από απλά αναπαράγει αυτά τα αρχικά αποτελέσματα, τα πειράματα παρακολούθησης δείχνουν επίσης ότι το μέγεθος της επίδρασης διαφέρει ανάλογα με την τοποθεσία. Αυτή η σειρά πειραμάτων δείχνει επίσης δύο γενικές παρατηρήσεις σχετικά με τα πειράματα μερικώς ψηφιακό τομέα. Κατ 'αρχάς, οι ερευνητές θα είναι σε θέση να εμπειρικά διεύθυνση ανησυχίες για την εξωτερική εγκυρότητα, όταν το κόστος λειτουργίας των πειραμάτων είναι χαμηλή, και αυτό μπορεί να προκύψει, εάν το αποτέλεσμα έχει ήδη μετρηθεί με μια πάντα-για τα δεδομένα του συστήματος. Ως εκ τούτου, προτείνει ότι η έρευνα θα πρέπει να είναι στο βλέμμα-out για άλλες ενδιαφέρουσες και σημαντικές συμπεριφορές που έχουν ήδη καταγραφεί, και στη συνέχεια να σχεδιάσουν πειράματα στην κορυφή αυτής της υπάρχουσας υποδομής μέτρησης. Δεύτερον, αυτό το σύνολο των πειραμάτων μας θυμίζει ότι τα πειράματα ψηφιακό τομέα δεν είναι μόνο σε απευθείας σύνδεση? όλο και περιμένω ότι θα είναι παντού με πολλά αποτελέσματα που μετράται από αισθητήρες στο δομημένο περιβάλλον.
Οι τέσσερις τύποι ισχύος-στατιστική εγκυρότητα συμπέρασμα, εσωτερική εγκυρότητα, δομική εγκυρότητα, εξωτερική εγκυρότητα, παρέχουν μια διανοητική λίστα ελέγχου για να βοηθήσει τους ερευνητές να αξιολογήσουν κατά πόσον τα αποτελέσματα από ένα συγκεκριμένο πείραμα υποστηρίξουν μια πιο γενικό συμπέρασμα. Σε σύγκριση με τα πειράματα αναλογική εποχή, σε πειράματα ψηφιακή εποχή θα πρέπει να είναι πιο εύκολο να αντιμετωπιστούν εξωτερική εγκυρότητα εμπειρικά και θα πρέπει να είναι πιο εύκολο να διασφαλισθεί η εσωτερική εγκυρότητα. Από την άλλη πλευρά, ζητήματα κύρους κατασκεύασμα πιθανότατα θα είναι πιο δύσκολο σε πειράματα ψηφιακή εποχή (αν και αυτό δεν ήταν η περίπτωση με τα πειράματα Opower).
