4.4.1 Ισχύς
Ισχύς αναφέρεται στο πόσο τα αποτελέσματα ενός πειράματος υποστηρίζουν μια πιο γενικό συμπέρασμα.
Κανένα πείραμα δεν είναι τέλειο και οι ερευνητές έχουν αναπτύξει ένα εκτεταμένο λεξιλόγιο για να περιγράψουν πιθανά προβλήματα. Η ισχύς αναφέρεται στο βαθμό στον οποίο τα αποτελέσματα ενός συγκεκριμένου πειράματος υποστηρίζουν κάποιο πιο γενικό συμπέρασμα. Οι κοινωνικοί επιστήμονες θεώρησαν χρήσιμο να διαιρέσουν την εγκυρότητα σε τέσσερις βασικούς τύπους: την εγκυρότητα των στατιστικών συμπερασμάτων, την εσωτερική εγκυρότητα, την εγκυρότητα της δομής και την εξωτερική εγκυρότητα (Shadish, Cook, and Campbell 2001, chap. 2) . Η κυριαρχία αυτών των εννοιών θα σας παράσχει έναν πνευματικό κατάλογο ελέγχου για την κριτική και τη βελτίωση του σχεδιασμού και της ανάλυσης ενός πειράματος και θα σας βοηθήσει να επικοινωνήσετε με άλλους ερευνητές.
Η στατιστική εξίσωση συμπέρασμα επικεντρώνεται γύρω από το αν η στατιστική ανάλυση του πειράματος έγινε σωστά. Στο πλαίσιο των Schultz et al. (2007) , μια τέτοια ερώτηση θα μπορούσε να επικεντρωθεί στο ερώτημα κατά πόσον οι τιμές τους \(p\) υπολογίζονται σωστά. Οι στατιστικές αρχές που πρέπει να σχεδιάσουν και να αναλύσουν τα πειράματα είναι πέρα από το πεδίο αυτού του βιβλίου, αλλά δεν έχουν αλλάξει ριζικά στην ψηφιακή εποχή. Αυτό που έχει αλλάξει είναι ότι το περιβάλλον δεδομένων σε ψηφιακά πειράματα έχει δημιουργήσει νέες ευκαιρίες όπως η χρήση μεθόδων μηχανικής μάθησης για την εκτίμηση της ετερογένειας των επιδράσεων της θεραπείας (Imai and Ratkovic 2013) .
Η εσωτερική εγκυρότητα επικεντρώνεται στο κατά πόσον οι πειραματικές διαδικασίες εκτελούνται σωστά. Επιστρέφοντας στο πείραμα των Schultz et al. (2007) , οι ερωτήσεις σχετικά με την εσωτερική εγκυρότητα θα μπορούσαν να επικεντρωθούν στην τυχαιοποίηση, την παροχή θεραπείας και τη μέτρηση των αποτελεσμάτων. Για παράδειγμα, μπορεί να ανησυχείτε ότι οι βοηθοί της έρευνας δεν διαβάζουν αξιόπιστα τους ηλεκτρικούς μετρητές. Στην πραγματικότητα, ο Schultz και οι συνάδελφοί του ανησυχούσαν για αυτό το πρόβλημα και είχαν ένα δείγμα μετρητών που διαβάζουν δύο φορές. ευτυχώς, τα αποτελέσματα ήταν ουσιαστικά πανομοιότυπα. Σε γενικές γραμμές, το πείραμα του Schultz και των συναδέλφων φαίνεται να έχει υψηλή εσωτερική ισχύ, αλλά αυτό δεν συμβαίνει πάντοτε: τα πολύπλοκα πεδία και τα πειράματα σε απευθείας σύνδεση συχνά αντιμετωπίζουν προβλήματα που προσφέρουν σωστά τη σωστή θεραπεία στους σωστούς ανθρώπους και τη μέτρηση των αποτελεσμάτων για όλους. Ευτυχώς, η ψηφιακή εποχή μπορεί να συμβάλει στη μείωση των ανησυχιών σχετικά με την εσωτερική εγκυρότητα, διότι τώρα είναι ευκολότερο να διασφαλιστεί ότι η θεραπεία παρέχεται σε εκείνους που υποτίθεται ότι θα την λάβουν και να μετρήσει τα αποτελέσματα για όλους τους συμμετέχοντες.
Η δομή εγκυρότητας επικεντρώνεται γύρω από την αντιστοίχιση μεταξύ των δεδομένων και των θεωρητικών δομών. Όπως αναλύεται στο κεφάλαιο 2, οι κατασκευές είναι αφηρημένες έννοιες που οι κοινωνικοί επιστήμονες έχουν λόγο. Δυστυχώς, αυτές οι αφηρημένες έννοιες δεν έχουν πάντοτε σαφείς ορισμούς και μετρήσεις. Επιστρέφοντας στο Schultz et al. (2007) , ο ισχυρισμός ότι οι παραβιάζουσες κοινωνικές προδιαγραφές μπορούν να μειώσουν τη χρήση ηλεκτρικής ενέργειας απαιτεί από τους ερευνητές να σχεδιάσουν μια θεραπεία που θα χειραγωγούσε «παραδειγματικούς κοινωνικούς κανόνες» (π.χ. ένα emoticon) και για τη μέτρηση της «χρήσης ηλεκτρικής ενέργειας». Σε αναλογικά πειράματα, πολλοί ερευνητές σχεδίασαν τις δικές τους θεραπείες και μέτρησαν τα αποτελέσματά τους. Αυτή η προσέγγιση διασφαλίζει ότι, όσο το δυνατόν περισσότερο, τα πειράματα ταιριάζουν με τα αφηρημένα κατασκευάσματα που μελετώνται. Σε ψηφιακά πειράματα όπου οι ερευνητές συνεργάζονται με εταιρείες ή κυβερνήσεις για την παροχή θεραπειών και τη χρήση πάντοτε συστημάτων δεδομένων για τη μέτρηση των αποτελεσμάτων, ο αγώνας ανάμεσα στο πείραμα και τις θεωρητικές δομές μπορεί να είναι λιγότερο περιορισμένος. Έτσι, αναμένω ότι η εγκυρότητα της δομής θα τείνει να είναι μια μεγαλύτερη ανησυχία στα ψηφιακά πειράματα παρά σε αναλογικά πειράματα.
Τέλος, η εξωτερική εγκυρότητα επικεντρώνεται στο κατά πόσο τα αποτελέσματα αυτού του πειράματος μπορούν να γενικευθούν σε άλλες καταστάσεις. Επιστρέφοντας στο Schultz et al. (2007) , θα μπορούσαμε να ρωτήσουμε αν η ίδια ιδέα που παρέχει στους ανθρώπους πληροφορίες σχετικά με τη χρήση ενέργειας σε σχέση με τους συνομηλίκους τους και ένα σήμα παραβιαζόμενων κανόνων (π.χ. ένα emoticon) θα μπορούσε να μειώσει την κατανάλωση ενέργειας εάν έγινε με διαφορετικό τρόπο σε διαφορετική ρύθμιση. Για τα πιο καλά σχεδιασμένα και καλά οργανωμένα πειράματα, οι ανησυχίες για την εξωτερική ισχύ είναι το πιο δύσκολο να αντιμετωπιστούν. Στο παρελθόν, αυτές οι συζητήσεις για την εξωτερική εγκυρότητα δεν αφορούσαν τίποτα περισσότερο από μια ομάδα ανθρώπων που κάθονταν σε ένα δωμάτιο προσπαθώντας να φανταστούν τι θα συνέβαινε εάν οι διαδικασίες είχαν γίνει με διαφορετικό τρόπο ή σε διαφορετικό μέρος ή με διαφορετικούς συμμετέχοντες . Ευτυχώς, η ψηφιακή εποχή δίνει τη δυνατότητα στους ερευνητές να προχωρήσουν πέρα από αυτές τις εικασίες χωρίς δεδομένα και να εκτιμήσουν εμπειρικά την εξωτερική ισχύ.
Επειδή τα αποτελέσματα από τους Schultz et al. (2007) ήταν τόσο συναρπαστικές, μια εταιρεία με την επωνυμία Opower συνεργάστηκε με επιχειρήσεις κοινής ωφέλειας στις Ηνωμένες Πολιτείες για να αναπτύξει τη θεραπεία ευρύτερα. Με βάση το σχέδιο των Schultz et al. (2007) , η Opower δημιούργησε προσαρμοσμένες Home Energy Reports που είχαν δύο βασικές ενότητες: το ένα δείχνει τη χρήση ηλεκτρικού ρεύματος του νοικοκυριού σε σχέση με τους γείτονές του με ένα emoticon και το ένα παρέχει συμβουλές για τη μείωση της κατανάλωσης ενέργειας (σχήμα 4.6). Στη συνέχεια, σε συνεργασία με τους ερευνητές, η Opower διεξήγαγε τυχαία ελεγχόμενα πειράματα για να αξιολογήσει τον αντίκτυπο αυτών των εκθέσεων οικιακής ενέργειας. Παρόλο που οι θεραπείες σε αυτά τα πειράματα τυπικά παρέχονταν φυσικά - συνήθως μέσω παλιομοδίτικου ταχυδρομείου σαλιγκαριών - το αποτέλεσμα μετρήθηκε χρησιμοποιώντας ψηφιακές συσκευές στον φυσικό κόσμο (π.χ. μετρητές ισχύος). Επιπλέον, αντί να συγκεντρώνουν χειροκίνητα αυτές τις πληροφορίες με ερευνητικούς βοηθούς που επισκέπτονται κάθε σπίτι, τα πειράματα Opower έγιναν όλα σε συνεργασία με εταιρείες ηλεκτρικής ενέργειας που επιτρέπουν στους ερευνητές να έχουν πρόσβαση στις μετρήσεις ισχύος. Έτσι, αυτά τα μερικά ψηφιακά πειράματα πεδίου διεξήχθησαν σε τεράστια κλίμακα με χαμηλό μεταβλητό κόστος.
Σχήμα 4.6: Οι αναφορές εσωτερικής ενέργειας είχαν μια ενότητα κοινωνικής σύγκρισης και μια ενότητα ενεργειών βημάτων. Αναπαράγεται με την άδεια του Allcott (2011) , αριθ. 1 και 2.
Σε μια πρώτη σειρά πειραμάτων που αφορούσαν 600.000 νοικοκυριά από 10 διαφορετικούς τόπους, η Allcott (2011) διαπίστωσε ότι η έκθεση για την ενεργειακή κατανάλωση στην Home Energy μείωσε την κατανάλωση ηλεκτρικής ενέργειας. Με άλλα λόγια, τα αποτελέσματα από την πολύ μεγαλύτερη, γεωγραφικά διαφορετική μελέτη ήταν ποιοτικά παρόμοια με τα αποτελέσματα από τους Schultz et al. (2007) . Επιπλέον, σε μεταγενέστερη έρευνα που αφορούσε οκτώ εκατομμύρια επιπλέον νοικοκυριά από 101 διαφορετικές τοποθεσίες, η Allcott (2015) διαπίστωσε και πάλι ότι η έκθεση για την ενεργειακή κατανάλωση της Home Energy μείωσε συνεχώς την κατανάλωση ηλεκτρικής ενέργειας. Αυτό το πολύ μεγαλύτερο σύνολο πειραμάτων αποκάλυψε επίσης ένα ενδιαφέρον νέο σχέδιο που δεν θα ήταν ορατό σε κανένα μεμονωμένο πείραμα: το μέγεθος του αποτελέσματος μειώθηκε στα μεταγενέστερα πειράματα (σχήμα 4.7). Allcott (2015) εξέφρασε την εικασία ότι η μείωση αυτή συνέβη επειδή, με την πάροδο του χρόνου, η θεραπεία εφαρμόστηκε σε διάφορους τύπους συμμετεχόντων. Πιο συγκεκριμένα, οι επιχειρήσεις κοινής ωφέλειας με περισσότερο φιλικούς προς το περιβάλλον πελάτες ήταν πιο πιθανό να υιοθετήσουν το πρόγραμμα νωρίτερα και οι πελάτες τους ανταποκρίθηκαν περισσότερο στη θεραπεία. Καθώς οι επιχειρήσεις κοινής ωφέλειας με λιγότερους περιβαλλοντικούς πελάτες υιοθέτησαν το πρόγραμμα, η αποτελεσματικότητά του φαινόταν να μειώνεται. Έτσι, όπως και η τυχαιοποίηση σε πειράματα εξασφαλίζει ότι η ομάδα θεραπείας και ελέγχου είναι παρόμοιες, η τυχαιοποίηση σε ερευνητικούς χώρους εξασφαλίζει ότι οι εκτιμήσεις μπορούν να γενικευτούν από μια ομάδα συμμετεχόντων σε έναν γενικότερο πληθυσμό (ανατρέξτε στο κεφάλαιο 3 σχετικά με τη δειγματοληψία). Εάν οι ερευνητικοί χώροι δεν ελεγχθούν τυχαία, τότε η γενίκευση - ακόμη και από ένα τέλεια σχεδιασμένο και διεξαγόμενο πείραμα - μπορεί να είναι προβληματική.
Σχήμα 4.7: Αποτελέσματα 111 πειραμάτων που ελέγχουν την επίδραση της Έκθεσης Ενεργειακής Έρευνας για την κατανάλωση ηλεκτρικής ενέργειας. Στις τοποθεσίες όπου το πρόγραμμα εγκρίθηκε αργότερα, τείνει να έχει μικρότερα αποτελέσματα. Allcott (2015) υποστηρίζει ότι μια σημαντική πηγή αυτού του προτύπου είναι ότι οι περιοχές με πιο Allcott (2015) προς το περιβάλλον πελάτες ήταν πιο πιθανό να υιοθετήσουν το πρόγραμμα νωρίτερα. Προσαρμοσμένη από το Allcott (2015) , σχήμα 3.
Μαζί, αυτά τα 111 πειράματα - 10 σε Allcott (2011) και 101 σε Allcott (2015) αφορούσαν περίπου 8,5 εκατομμύρια νοικοκυριά από όλες τις Ηνωμένες Πολιτείες. Δείχνουν με συνέπεια ότι η Home Energy Reports μειώνει τη μέση κατανάλωση ηλεκτρικής ενέργειας, αποτέλεσμα που υποστηρίζει τα αρχικά ευρήματα του Schultz και των συναδέλφων του από 300 σπίτια στην Καλιφόρνια. Πέρα από την απλή αναπαραγωγή αυτών των αρχικών αποτελεσμάτων, τα πειράματα παρακολούθησης δείχνουν επίσης ότι το μέγεθος του αποτελέσματος ποικίλλει ανάλογα με την τοποθεσία. Αυτό το σύνολο πειραμάτων παρουσιάζει επίσης δύο γενικά σημεία σχετικά με μερικά ψηφιακά πεδία πειράματα. Πρώτον, οι ερευνητές θα μπορέσουν να αντιμετωπίσουν εμπειρικά τις ανησυχίες σχετικά με την εξωτερική εγκυρότητα όταν το κόστος των πειραμάτων είναι χαμηλό και αυτό μπορεί να συμβεί εάν το αποτέλεσμα μετράται ήδη από ένα σύστημα δεδομένων που είναι πάντοτε σε εξέλιξη. Ως εκ τούτου, προτείνει ότι οι ερευνητές θα πρέπει να είναι επιφυλακτικοί για άλλες ενδιαφέρουσες και σημαντικές συμπεριφορές που έχουν ήδη καταγραφεί και στη συνέχεια να σχεδιάσουν πειράματα πάνω από αυτή την υπάρχουσα υποδομή μέτρησης. Δεύτερον, αυτό το σύνολο πειραμάτων μας υπενθυμίζει ότι τα πειράματα ψηφιακού πεδίου δεν είναι μόνο στο διαδίκτυο. όλο και περισσότερο, αναμένω ότι θα είναι παντού με πολλά αποτελέσματα που θα μετρηθούν με αισθητήρες στο δομημένο περιβάλλον.
Οι τέσσερις τύποι εγκυρότητας - στατιστική ισχύς συμπερασμάτων, εσωτερική εγκυρότητα, εγκυρότητα δομής και εξωτερική ισχύς - παρέχουν μια διανοητική λίστα ελέγχου για να βοηθήσουν τους ερευνητές να αξιολογήσουν εάν τα αποτελέσματα από ένα συγκεκριμένο πείραμα υποστηρίζουν ένα γενικότερο συμπέρασμα. Σε σύγκριση με τα πειράματα αναλογικής ηλικίας, στα πειράματα ψηφιακής ηλικίας, θα πρέπει να είναι ευκολότερο να αντιμετωπίζεται εμπειρικά η εξωτερική ισχύς και θα πρέπει επίσης να είναι ευκολότερο να διασφαλιστεί η εσωτερική εγκυρότητα. Από την άλλη πλευρά, τα ζητήματα της εγκυρότητας κατασκευών πιθανόν να είναι πιο προκλητικά σε πειράματα ψηφιακής ηλικίας, ειδικά σε πειράματα ψηφιακού πεδίου που περιλαμβάνουν συνεργασίες με εταιρείες.
