Δραστηριότητες

• βαθμός δυσκολίας: εύκολη , Μεσαίο , σκληρά , πολύ δύσκολο
• απαιτεί μαθηματικά ( ),
• απαιτεί κωδικοποίηση ( ),
• συλλογή δεδομένων ( ),
• τα αγαπημένα μου ( ),

1. [ , ] Ο Berinsky και οι συνεργάτες του (2012) αξιολόγησαν το MTurk εν μέρει με την αναπαραγωγή τριών κλασσικών πειραμάτων. Αντιγράψτε το κλασικό πείραμα πλαισιώσεως της ασιατικής νόσου από τους Tversky and Kahneman (1981) . Τα αποτελέσματα ταιριάζουν με τα Tversky και Kahneman's; Τα αποτελέσματα σας ταιριάζουν με αυτούς τους Berinsky και τους συναδέλφους τους; Τι-αν όχι-μας το διδάσκει αυτό για τη χρήση του MTurk για πειράματα έρευνας;

2. [ , ] Σε ένα βιβλίο με τίτλο "Πρέπει να σπάσουμε", σε κάποιο θέμα με το χέρι, ο κοινωνικός ψυχολόγος Robert Cialdini, ένας από τους συγγραφείς των Schultz et al. (2007) , έγραψε ότι αποχώρησε νωρίς από την εργασία του ως καθηγητής, εν μέρει λόγω των προκλήσεων που αντιμετώπισε να κάνει πειράματα πεδίου σε μια πειθαρχία (ψυχολογία) που διεξάγει κυρίως εργαστηριακά πειράματα (Cialdini 2009) . Διαβάστε το χαρτί του Cialdini και γράψτε του ένα μήνυμα ηλεκτρονικού ταχυδρομείου που τον παροτρύνει να επανεξετάσει τη διάσπασή του υπό το πρίσμα των δυνατοτήτων των ψηφιακών πειραμάτων. Χρησιμοποιήστε συγκεκριμένα παραδείγματα έρευνας που αντιμετωπίζουν τις ανησυχίες του.

3. [ ] Για να διαπιστωθεί αν οι μικρές αρχικές επιτυχίες μπλοκάρουν ή ξεθωριάζουν, ο van de Rijt και οι συνάδελφοί του (2014) παρενέβησαν σε τέσσερα διαφορετικά συστήματα που αποδίδουν επιτυχία σε τυχαία επιλεγμένους συμμετέχοντες και στη συνέχεια μετράνε τις μακροπρόθεσμες επιπτώσεις αυτής της αυθαίρετης επιτυχίας. Μπορείτε να σκεφτείτε άλλα συστήματα στα οποία θα μπορούσατε να εκτελέσετε παρόμοια πειράματα; Αξιολογήστε αυτά τα συστήματα όσον αφορά θέματα επιστημονικής αξίας, αλγοριθμικές συγχύσεις (βλ. Κεφάλαιο 2) και ηθική.

4. [ , ] Τα αποτελέσματα ενός πειράματος μπορούν να εξαρτηθούν από τους συμμετέχοντες. Δημιουργήστε ένα πείραμα και στη συνέχεια εκτελέστε το σε MTurk χρησιμοποιώντας δύο διαφορετικές στρατηγικές πρόσληψης. Προσπαθήστε να επιλέξετε τις στρατηγικές πειράματος και προσλήψεων, ώστε τα αποτελέσματα να είναι όσο το δυνατόν πιο διαφορετικά . Για παράδειγμα, οι στρατηγικές πρόσληψης θα μπορούσαν να είναι να προσλαμβάνουν συμμετέχοντες το πρωί και το βράδυ ή να αποζημιώνουν τους συμμετέχοντες με υψηλές και χαμηλές αμοιβές. Αυτές οι διαφορές στη στρατηγική πρόσληψης θα μπορούσαν να οδηγήσουν σε διαφορετικές ομάδες συμμετεχόντων και διαφορετικά πειραματικά αποτελέσματα. Πόσο διαφορετικά έγιναν τα αποτελέσματά σας; Τι αποκαλύπτει αυτό για τη διεξαγωγή πειραμάτων στο MTurk;

5. [ , , ] Φανταστείτε ότι σχεδιάζετε το πείραμα της συναισθηματικής επαφής (Kramer, Guillory, and Hancock 2014) . Χρησιμοποιήστε τα αποτελέσματα από μια προηγούμενη μελέτη παρατήρησης από τον Kramer (2012) για να αποφασίσετε τον αριθμό των συμμετεχόντων σε κάθε πάθηση. Αυτές οι δύο μελέτες δεν ταιριάζουν απόλυτα, οπότε βεβαιωθείτε ότι αναφέρετε ρητά όλες τις υποθέσεις που κάνετε:

   1. Εκτελέστε μια προσομοίωση που θα αποφασίσει πόσα συμμετέχοντα θα χρειαζόταν για να ανιχνεύσει ένα αποτέλεσμα τόσο μεγάλο όσο το αποτέλεσμα στο Kramer (2012) με \(\alpha = 0.05\) και \(1 - \beta = 0.8\) .
   2. Κάνετε τον ίδιο υπολογισμό αναλυτικά.
   3. Δεδομένων των αποτελεσμάτων του Kramer (2012) , η Συναισθηματική Καταπόνηση (Kramer, Guillory, and Hancock 2014) υπερβολικά ισχυρή (δηλαδή, είχε περισσότερους συμμετέχοντες από ό, τι χρειάζεται);
   4. Από τις υποθέσεις που κάνατε, οι οποίες έχουν τη μεγαλύτερη επίδραση στον υπολογισμό σας;

6. [ , , ] Απαντήστε ξανά στην προηγούμενη ερώτηση, αλλά αυτή τη φορά αντί να χρησιμοποιήσετε την προηγούμενη μελέτη παρατήρησης του Kramer (2012) , χρησιμοποιήστε τα αποτελέσματα από ένα προηγούμενο φυσικό πείραμα από τους Lorenzo Coviello et al. (2014) .

7. [ ] Και οι δύο Margetts et al. (2011) και van de Rijt et al. (2014) διεξήγαγε πειράματα μελετώντας τη διαδικασία υπογραφής της υποψηφιότητας. Συγκρίνετε και αντιπαραβάλλετε τα σχέδια και τα ευρήματα αυτών των μελετών.

8. [ ] Οι Dwyer, Maki, and Rothman (2015) διενήργησαν δύο πειράματα πεδίου σχετικά με τη σχέση μεταξύ κοινωνικών κανόνων και προ-περιβαλλοντικής συμπεριφοράς. Εδώ είναι η περίληψη της εργασίας τους:

   "Πώς μπορεί να χρησιμοποιηθεί η ψυχολογική επιστήμη για να ενθαρρύνει την επαγγελματική συμπεριφορά; Σε δύο μελέτες, οι παρεμβάσεις που στοχεύουν στην προώθηση της συμπεριφοράς διατήρησης ενέργειας σε δημόσια μπάνια εξέτασαν τις επιδράσεις των περιγραφικών κανόνων και της προσωπικής ευθύνης. Στη Μελέτη 1, η κατάσταση φωτισμού (δηλαδή, on ή off) χειρίστηκε πριν κάποιος εισέλθει σε ένα κενό κοινό μπάνιο, σηματοδοτώντας τον περιγραφικό κανόνα για αυτή τη ρύθμιση. Οι συμμετέχοντες ήταν πολύ πιο πιθανό να σβήσουν τα φώτα όταν ήταν εκτός λειτουργίας όταν μπήκαν. Στη Μελέτη 2, συμπεριλήφθηκε μια πρόσθετη προϋπόθεση στην οποία ο κανόνας της απενεργοποίησης του φωτός αποδείχθηκε από έναν συνομιλητή, αλλά οι συμμετέχοντες δεν ήταν οι ίδιοι υπεύθυνοι για την ενεργοποίησή του. Η προσωπική ευθύνη μείωσε την επιρροή των κοινωνικών κανόνων στη συμπεριφορά. όταν οι συμμετέχοντες δεν ήταν υπεύθυνοι για την ενεργοποίηση του φωτός, η επιρροή του κανόνα μειώθηκε. Αυτά τα αποτελέσματα δείχνουν πώς οι περιγραφικοί κανόνες και η προσωπική ευθύνη μπορούν να ρυθμίσουν την αποτελεσματικότητα των παρεμβάσεων υπέρ του περιβάλλοντος ".

   Διαβάστε το χαρτί τους και σχεδιάστε μια αναπαραγωγή της μελέτης 1.

9. [ , ] Με βάση την προηγούμενη ερώτηση, τώρα πραγματοποιήστε το σχέδιό σας.

   1. Πώς συγκρίνονται τα αποτελέσματα;
   2. Τι θα μπορούσε να εξηγήσει αυτές τις διαφορές;

10. [ ] Έχει υπάρξει ουσιαστική συζήτηση σχετικά με τα πειράματα χρησιμοποιώντας τους συμμετέχοντες που προσλαμβάνονται από MTurk. Παράλληλα, υπήρξε επίσης σημαντική συζήτηση σχετικά με τα πειράματα με τη συμμετοχή συμμετεχόντων που προσελήφθησαν από προπτυχιακούς φοιτητές. Γράψτε ένα σημείωμα δύο σελίδων που συγκρίνει και αντιπαραβάλλει τους Τούρκους και τους προπτυχιακούς φοιτητές ως ερευνητές. Η σύγκρισή σας πρέπει να περιλαμβάνει μια συζήτηση τόσο των επιστημονικών όσο και των υλικοτεχνικών ζητημάτων.

11. [ ] Το βιβλίο του Jim Manzi Uncontrolled (2012) είναι μια θαυμάσια εισαγωγή στη δύναμη του πειραματισμού στις επιχειρήσεις. Στο βιβλίο έστειλε την ακόλουθη ιστορία:

    "Ήμουν κάποτε σε μια συνάντηση με μια πραγματική επιχειρηματική μεγαλοφυία, έναν αυτοσυντηρημένο δισεκατομμυριούχο που είχε μια βαθιά, διαισθητική κατανόηση της δύναμης των πειραμάτων. Η εταιρεία του ξόδεψε σημαντικούς πόρους προσπαθώντας να δημιουργήσει μεγάλες οθόνες παραθύρων που θα προσελκύουν τους καταναλωτές και θα αυξάνουν τις πωλήσεις, όπως είπε η συμβατική σοφία. Οι εμπειρογνώμονες εξέτασαν προσεκτικά το σχεδιασμό μετά το σχεδιασμό και σε μεμονωμένες συνεδρίες ανασκόπησης δοκιμών για μια περίοδο ετών που δεν παρουσίαζαν σημαντική αιτιώδη επίδραση σε κάθε νέο σχεδιασμό απεικόνισης επί των πωλήσεων. Ανώτερα στελέχη μάρκετινγκ και εμπορίας συναντήθηκαν με τον Διευθύνοντα Σύμβουλο για να αναθεωρήσουν αυτά τα ιστορικά αποτελέσματα των δοκιμών. Αφού παρουσίασαν όλα τα πειραματικά δεδομένα, κατέληξαν στο συμπέρασμα ότι η συμβατική σοφία ήταν λανθασμένη - ότι οι ενδείξεις παραθύρων δεν οδηγούν τις πωλήσεις. Η συνιστώμενη δράση τους ήταν να μειώσουν το κόστος και την προσπάθεια σε αυτόν τον τομέα. Αυτό έδειξε δραματικά την ικανότητα του πειραματισμού να ανατρέψει τη συμβατική σοφία. Η απάντηση του Διευθύνοντος Συμβούλου ήταν απλή: «Το συμπέρασμά μου είναι ότι οι σχεδιαστές σας δεν είναι πολύ καλοί». Η λύση του ήταν να αυξήσει την προσπάθεια στο σχεδιασμό εμφάνισης των καταστημάτων και να κάνει νέους ανθρώπους να το κάνουν » (Manzi 2012, 158–9)

    Ποιος τύπος εγκυρότητας είναι η ανησυχία του Διευθύνοντος Συμβούλου;

12. [ ] Με βάση την προηγούμενη ερώτηση, φανταστείτε ότι ήσασταν στη συνάντηση όπου συζητήθηκαν τα αποτελέσματα των πειραμάτων. Ποιες είναι οι τέσσερις ερωτήσεις που μπορείτε να ρωτήσετε - μία για κάθε τύπο εγκυρότητας (στατιστική, κατασκευή, εσωτερική και εξωτερική);

13. [ ] Bernedo, Ferraro, and Price (2014) μελέτησαν την επταετή επίδραση της παρέμβασης εξοικονόμησης νερού που περιγράφεται σε Ferraro, Miranda, and Price (2011) (βλ. Εικόνα 4.11). Σε αυτή την εργασία, ο Bernedo και οι συνεργάτες του επιδιώκουν επίσης να κατανοήσουν τον μηχανισμό πίσω από το αποτέλεσμα συγκρίνοντας τη συμπεριφορά των νοικοκυριών που έχουν και δεν έχουν μετακινηθεί μετά την παράδοση της θεραπείας. Αυτό είναι, κατά προσέγγιση, προσπάθησαν να δουν αν η θεραπεία επηρέασε το σπίτι ή τον ιδιοκτήτη σπιτιού.

    1. Διαβάστε το χαρτί, περιγράψτε τον σχεδιασμό τους και συνοψίστε τα ευρήματά τους.
    2. Οι διαπιστώσεις τους επηρεάζουν τον τρόπο με τον οποίο πρέπει να αξιολογείτε την σχέση κόστους-αποτελεσματικότητας παρόμοιων παρεμβάσεων; Αν ναι, γιατί; Εάν όχι, γιατί όχι;

14. [ ] Σε συνέχεια του Schultz et al. (2007) , οι Schultz και οι συνάδελφοί του παρουσίασαν μια σειρά από τρία πειράματα σχετικά με την επίδραση των περιγραφικών και ανασταλτικών κανόνων σε μια διαφορετική περιβαλλοντική συμπεριφορά (επαναχρησιμοποίηση πετσετών) σε δύο πλαίσια (ένα ξενοδοχείο και μια συγκυριαρχία χρονομεριστικής μίσθωσης) (Schultz, Khazian, and Zaleski 2008) .

    1. Συγκεντρώστε το σχέδιο και τα ευρήματα αυτών των τριών πειραμάτων.
    2. Πώς, αν όχι καθόλου, αλλάζουν την ερμηνεία σας από τους Schultz et al. (2007) ;

15. [ ] Σε απάντηση στο Schultz et al. (2007) , οι Canfield, Bruin, and Wong-Parodi (2016) έτρεξαν μια σειρά εργαστηριακών πειραμάτων για να μελετήσουν το σχεδιασμό των ηλεκτρικών λογαριασμών. Εδώ περιγράφεται με τρόπο αφηρημένο:

    "Σε ένα πείραμα βασισμένο σε έρευνα, κάθε συμμετέχων είδε έναν υποθετικό λογαριασμό ηλεκτρικής ενέργειας για μια οικογένεια με σχετικά υψηλή κατανάλωση ηλεκτρικής ενέργειας, καλύπτοντας πληροφορίες σχετικά με (α) ιστορική χρήση, (β) συγκρίσεις με γείτονες και (γ) ιστορική χρήση με κατανομή συσκευών. Οι συμμετέχοντες είδαν όλους τους τύπους πληροφοριών σε μία από τις τρεις μορφές, συμπεριλαμβανομένων (α) πινάκων, (β) γραμμικών διαγραμμάτων και (γ) εικονιδίων. Αναφέρουμε τρία βασικά ευρήματα. Πρώτον, οι καταναλωτές κατανοούσαν περισσότερο κάθε τύπο πληροφορίας χρήσης ηλεκτρικής ενέργειας όταν παρουσιάστηκαν σε έναν πίνακα, ίσως επειδή οι πίνακες διευκόλυναν την απλή ανάγνωση σημείων. Δεύτερον, οι προτιμήσεις και οι προθέσεις για εξοικονόμηση ηλεκτρικής ενέργειας ήταν οι ισχυρότερες για τις πληροφορίες ιστορικής χρήσης ανεξάρτητα από τη μορφή. Τρίτον, άτομα με χαμηλότερη ενεργειακή παιδεία κατανοούσαν όλες τις πληροφορίες λιγότερο. "

    Σε αντίθεση με άλλες μελέτες παρακολούθησης, το κύριο αποτέλεσμα του ενδιαφέροντος για τους Canfield, Bruin, and Wong-Parodi (2016) αναφέρθηκε στη συμπεριφορά και όχι στην πραγματική συμπεριφορά. Ποια είναι τα πλεονεκτήματα και οι αδυναμίες αυτού του είδους μελέτης σε ένα ευρύτερο ερευνητικό πρόγραμμα που προωθεί την εξοικονόμηση ενέργειας;

16. [ , ] Οι Smith and Pell (2003) παρουσίασαν μια σατυρική μετα-ανάλυση μελετών που αποδεικνύουν την αποτελεσματικότητα των αλεξίπτωτων. Συμπέραναν:

    Όπως και με πολλές παρεμβάσεις που αποσκοπούν στην πρόληψη της κακής υγείας, η αποτελεσματικότητα των αλεξίπτωτων δεν έχει υποβληθεί σε αυστηρή αξιολόγηση χρησιμοποιώντας τυχαιοποιημένες ελεγχόμενες δοκιμές. Οι υποστηρικτές της ιατρικής που βασίζονται σε αποδεικτικά στοιχεία έχουν επικρίνει την υιοθέτηση των παρεμβάσεων που αξιολογούνται χρησιμοποιώντας μόνο παρατηρητικά δεδομένα. Θεωρούμε ότι ο καθένας μπορεί να ωφεληθεί αν οι πιο ριζοσπαστικοί πρωταγωνιστές της ιατρικής που βασίζονται σε αποδεικτικά στοιχεία οργανωθούν και συμμετάσχουν σε μια διπλή τυφλή, τυχαιοποιημένη, ελεγχόμενη με εικονικό φάρμακο δοκιμή crossover του αλεξίπτωτου. "

    Γράψτε μια ετικέτα κατάλληλη για μια εφημερίδα γενικής εφημερίδας, όπως οι New York Times , που υποστηρίζει τη φετιχισμοποίηση πειραματικών στοιχείων. Παρέχετε συγκεκριμένα συγκεκριμένα παραδείγματα. Υπόδειξη: Βλέπε επίσης Deaton (2010) και Bothwell et al. (2016) .

17. [ , , ] Οι εκτιμητές διαφοράς στις διαφορές ενός αποτελέσματος θεραπείας μπορούν να είναι ακριβέστεροι από τους εκτιμητές διαφοράς-μέσου όρου. Γράψτε ένα σημείωμα σε έναν μηχανικό που είναι υπεύθυνος για τη δοκιμή A / B σε μια εταιρεία κοινωνικών μέσων εκκίνησης που εξηγεί την αξία της προσέγγισης διαφοράς-διαφορών για τη διεξαγωγή ενός σε απευθείας σύνδεση πειράματος. Το υπόμνημα θα πρέπει να περιλαμβάνει μια δήλωση του προβλήματος, κάποια διαίσθηση σχετικά με τις συνθήκες κάτω από τις οποίες ο εκτιμητής διαφορά-σε-διαφορά θα ξεπεράσει τον εκτιμητή διαφοράς σε μέσο και μια απλή μελέτη προσομοίωσης.

18. [ , ] Ο Gary Loveman ήταν καθηγητής στο Harvard Business School πριν γίνει διευθύνων σύμβουλος της Harrah's, μιας από τις μεγαλύτερες εταιρείες καζίνο στον κόσμο. Όταν μετακόμισε στο Harrah's, ο Loveman μετέτρεψε την εταιρεία σε ένα πρόγραμμα πίστης με συχνές πτήσεις που συγκέντρωσε τεράστια ποσά δεδομένων σχετικά με τη συμπεριφορά των πελατών. Πάνω από αυτό το πάντοτε σύστημα μέτρησης, η εταιρεία ξεκίνησε πειράματα. Για παράδειγμα, ενδέχεται να πραγματοποιήσουν ένα πείραμα για να αξιολογήσουν την επίδραση ενός κουπονιού για μια ελεύθερη νύχτα ξενοδοχείων για πελάτες με συγκεκριμένο πρότυπο τυχερών παιχνιδιών. Ακολουθεί ο τρόπος με τον οποίο ο Loveman περιέγραψε τη σημασία του πειραματισμού στις καθημερινές επιχειρηματικές πρακτικές της Harrah:

    "Είναι σαν να μην παρενοχλείτε τις γυναίκες, δεν κλέβετε, και πρέπει να έχετε μια ομάδα ελέγχου. Αυτό είναι ένα από τα πράγματα που μπορείτε να χάσετε τη δουλειά σας για το Harrah's-μη τρέχοντας μια ομάδα ελέγχου. " (Manzi 2012, 146)

    Γράψτε ένα μήνυμα ηλεκτρονικού ταχυδρομείου σε έναν νέο υπάλληλο που εξηγεί γιατί ο Loveman θεωρεί ότι είναι τόσο σημαντικό να έχετε μια ομάδα ελέγχου. Θα πρέπει να προσπαθήσετε να συμπεριλάβετε ένα παράδειγμα - είτε πραγματικό είτε συμπληρωμένο - για να απεικονίσετε το σημείο σας.

19. [ , ] Ένα νέο πείραμα στοχεύει στην εκτίμηση της επίδρασης λήψης υπενθυμίσεων μηνυμάτων κειμένου σχετικά με την πρόσληψη εμβολιασμού. Εκατόν πενήντα κλινικές, κάθε μία με 600 επιλέξιμες ασθενείς, είναι πρόθυμες να συμμετάσχουν. Υπάρχει σταθερό κόστος $ 100 για κάθε κλινική με την οποία θέλετε να εργαστείτε και κοστίζει $ 1 για κάθε μήνυμα κειμένου που θέλετε να στείλετε. Επιπλέον, όλες οι κλινικές με τις οποίες συνεργάζεστε θα μετρήσουν το αποτέλεσμα (εάν κάποιος έλαβε εμβολιασμό) δωρεάν. Ας υποθέσουμε ότι έχετε προϋπολογισμό $ 1.000.

    1. Υπό ποιες συνθήκες θα ήταν καλύτερο να εστιάσετε τους πόρους σας σε ένα μικρό αριθμό κλινικών και υπό ποιες συνθήκες θα ήταν καλύτερο να τα διαδώσετε ευρύτερα;
    2. Ποιοι παράγοντες θα καθορίσουν το μικρότερο μέγεθος αποτελέσματος που θα μπορείτε να ανιχνεύσετε αξιόπιστα με τον προϋπολογισμό σας;
    3. Γράψτε ένα σημείωμα που εξηγεί αυτά τα συμβόλαια σε έναν πιθανό χρηματοδότη.

20. [ , ] Ένα σημαντικό πρόβλημα με τα online μαθήματα είναι η φθορά: πολλοί μαθητές που αρχίζουν μαθήματα καταλήγουν να εγκαταλείπουν. Φανταστείτε ότι εργάζεστε σε μια ηλεκτρονική πλατφόρμα εκμάθησης και ένας σχεδιαστής στην πλατφόρμα δημιούργησε ένα φραγμό οπτικής προόδου που πιστεύει ότι θα βοηθήσει να αποτραπεί η αποχώρηση των φοιτητών από το μάθημα. Θέλετε να δοκιμάσετε την επίδραση της γραμμής προόδου στους σπουδαστές σε μια μεγάλη σειρά υπολογιστικών κοινωνικών επιστημών. Αφού αντιμετωπίσετε τυχόν ηθικά ζητήματα που ενδέχεται να προκύψουν στο πείραμα, εσείς και οι συνάδελφοί σας ανησυχείτε ότι η πορεία ενδέχεται να μην έχει αρκετούς σπουδαστές για να ανιχνεύσουν αξιόπιστα τα αποτελέσματα της γραμμής προόδου. Στους παρακάτω υπολογισμούς, μπορείτε να υποθέσετε ότι οι μισοί μαθητές θα λάβουν τη γραμμή προόδου και το μισό όχι. Επιπλέον, μπορείτε να υποθέσετε ότι δεν υπάρχει παρέμβαση. Με άλλα λόγια, μπορείτε να υποθέσετε ότι οι συμμετέχοντες επηρεάζονται μόνο από το εάν έλαβαν τη θεραπεία ή τον έλεγχο. δεν επηρεάζονται από το αν άλλα άτομα έλαβαν θεραπεία ή έλεγχο (για έναν πιο επίσημο ορισμό, βλέπε κεφάλαιο 8 του Gerber and Green (2012) ). Παρακολουθήστε τυχόν επιπλέον υποθέσεις που κάνετε.

    1. Υποθέστε ότι η γραμμή προόδου αναμένεται να αυξήσει το ποσοστό των μαθητών που ολοκληρώνουν την τάξη κατά 1 ποσοστιαία μονάδα. ποιο είναι το μέγεθος δείγματος που απαιτείται για την αξιόπιστη ανίχνευση του αποτελέσματος;
    2. Υποθέστε ότι η γραμμή προόδου αναμένεται να αυξήσει το ποσοστό των μαθητών που ολοκληρώνουν την τάξη κατά 10 ποσοστιαίες μονάδες. ποιο είναι το μέγεθος δείγματος που απαιτείται για την αξιόπιστη ανίχνευση του αποτελέσματος;
    3. Τώρα φανταστείτε ότι έχετε κάνει το πείραμα και οι μαθητές που έχουν ολοκληρώσει όλα τα μαθήματα έχουν πάρει μια τελική εξέταση. Όταν συγκρίνετε τα τελικά αποτελέσματα των εξετάσεων των φοιτητών που έλαβαν την γραμμή προόδου με τα αποτελέσματα εκείνων που δεν το έκαναν, διαπιστώνετε, προς μεγάλη έκπληξή σας, ότι οι σπουδαστές που δεν έλαβαν την γραμμή προόδου σημείωσαν υψηλότερη βαθμολογία. Μήπως αυτό σημαίνει ότι η γραμμή προόδου προκάλεσε τους μαθητές να μάθουν λιγότερο; Τι μπορείτε να μάθετε από αυτά τα δεδομένα αποτελεσμάτων; (Συμβουλή: Βλ. Κεφάλαιο 7 του Gerber and Green (2012) )

21. [ , , ] Φανταστείτε ότι εργάζεστε ως επιστήμονας δεδομένων σε μια εταιρεία τεχνολογίας. Κάποιος από το τμήμα μάρκετινγκ ζητά τη βοήθειά σας στην αξιολόγηση ενός πειράματος που σχεδιάζει για να μετρήσει την απόδοση επένδυσης (ROI) για μια νέα online διαφημιστική καμπάνια. Η ROI ορίζεται ως το καθαρό κέρδος από την εκστρατεία διαιρούμενο με το κόστος της εκστρατείας. Για παράδειγμα, μια καμπάνια που δεν είχε καμία επίδραση στις πωλήσεις θα είχε ROI -100%. μια εκστρατεία όπου τα κέρδη που δημιουργήθηκαν ήταν ίσα με το κόστος θα είχαν ROI 0? και μια εκστρατεία όπου τα κέρδη που δημιουργήθηκαν ήταν διπλάσια από το κόστος θα είχαν απόδοση επένδυσης (ROI) 200%.

    Πριν ξεκινήσετε το πείραμα, το τμήμα μάρκετινγκ σας παρέχει τις ακόλουθες πληροφορίες με βάση την προηγούμενη έρευνα (στην πραγματικότητα, αυτές οι τιμές είναι τυπικές για τις πραγματικές διαφημιστικές καμπάνιες στο διαδίκτυο που αναφέρονται στους Lewis και Rao (2015) ):

    • Οι μέσες πωλήσεις ανά πελάτη ακολουθούν λογαριθμική κανονική κατανομή με μέσο όρο $ 7 και τυπική απόκλιση ύψους $ 75.
    • Η εκστρατεία αναμένεται να αυξήσει τις πωλήσεις κατά 0,35 $ ανά πελάτη, πράγμα που αντιστοιχεί σε αύξηση του κέρδους των 0,175 $ ανά πελάτη.
    • Το προγραμματισμένο μέγεθος του πειράματος είναι 200.000 άτομα: το μισό στην ομάδα θεραπείας και το μισό στην ομάδα ελέγχου.
    • Το κόστος της καμπάνιας είναι $ 0,14 ανά συμμετέχοντα.
    • Η αναμενόμενη απόδοση επένδυσης (ROI) για την καμπάνια είναι 25% [ \((0.175 - 0.14)/0.14\) ]. Με άλλα λόγια, το τμήμα μάρκετινγκ πιστεύει ότι για κάθε 100 δολάρια που δαπανάται για μάρκετινγκ, η εταιρεία θα κερδίσει επιπλέον κέρδη 25 δολάρια.

    Γράψτε ένα σημείωμα αξιολόγησης αυτού του προτεινόμενου πειράματος. Το υπόμνημά σας πρέπει να χρησιμοποιεί στοιχεία από μια προσομοίωση που δημιουργείτε και θα πρέπει να αντιμετωπίσει δύο σημαντικά ζητήματα: (1) Θα πρότεινα να ξεκινήσει αυτό το πείραμα όπως είχε προγραμματιστεί; Αν ναι, γιατί; Εάν όχι, γιατί όχι; Βεβαιωθείτε ότι είστε σαφείς σχετικά με τα κριτήρια που χρησιμοποιείτε για να λάβετε αυτήν την απόφαση. (2) Ποιο μέγεθος δείγματος θα προτείνετε για αυτό το πείραμα; Και πάλι, βεβαιωθείτε ότι είστε σαφείς σχετικά με τα κριτήρια που χρησιμοποιείτε για να λάβετε αυτήν την απόφαση.

    Ένα καλό σημείωμα θα εξετάσει τη συγκεκριμένη περίπτωση. ένα καλύτερο σημείωμα θα γενικευθεί από την περίπτωση αυτή με έναν τρόπο (π.χ., να δείξει πώς αλλάζει η απόφαση ως συνάρτηση του μεγέθους της επίδρασης της εκστρατείας). και ένα μεγάλο σημείωμα θα παρουσιάσει ένα πλήρως γενικευμένο αποτέλεσμα. Το σημείωμα σας θα πρέπει να χρησιμοποιεί γραφήματα για να σας βοηθήσει να απεικονίσετε τα αποτελέσματά σας.

    Ακολουθούν δύο συμβουλές. Πρώτον, το τμήμα μάρκετινγκ μπορεί να σας έχει παράσχει κάποιες περιττές πληροφορίες και ίσως δεν σας έχουν παράσχει κάποιες απαραίτητες πληροφορίες. Δεύτερον, εάν χρησιμοποιείτε το R, πρέπει να γνωρίζετε ότι η λειτουργία rlnorm () δεν λειτουργεί όπως πολλοί αναμένουν.

    Αυτή η δραστηριότητα θα σας δώσει πρακτική με ανάλυση ισχύος, δημιουργία προσομοιώσεων και επικοινωνία των αποτελεσμάτων σας με λέξεις και γραφήματα. Θα πρέπει να σας βοηθήσει να διεξάγετε ανάλυση ισχύος για οποιοδήποτε είδος πειράματος, όχι μόνο πειράματα σχεδιασμένα για την εκτίμηση της απόδοσης επένδυσης (ROI). Αυτή η δραστηριότητα προϋποθέτει ότι έχετε κάποια εμπειρία με τις στατιστικές δοκιμές και την ανάλυση ισχύος. Αν δεν είστε εξοικειωμένοι με την ανάλυση ισχύος, συνιστούμε να διαβάσετε το "A Power Primer" από τον Cohen (1992) .

    Αυτή η δραστηριότητα εμπνεύστηκε από ένα υπέροχο χαρτί από τους RA Lewis and Rao (2015) , το οποίο απεικονίζει έντονα έναν θεμελιώδη στατιστικό περιορισμό ακόμη και μαζικών πειραμάτων. Το έγγραφό τους - το οποίο αρχικά είχε τον προκλητικό τίτλο «Σχετικά με την εγγύτητα της μέτρησης των αποδόσεων στη διαφήμιση» - δείχνει πόσο δύσκολο είναι να μετρηθεί η απόδοση της επένδυσης σε διαδικτυακές διαφημίσεις, ακόμη και με ψηφιακά πειράματα που αφορούν εκατομμύρια πελάτες. Γενικότερα, οι RA Lewis and Rao (2015) απεικονίζουν ένα θεμελιώδες στατιστικό γεγονός, το οποίο είναι ιδιαίτερα σημαντικό για τα πειράματα ψηφιακής ηλικίας: είναι δύσκολο να εκτιμηθούν οι μικρές επιπτώσεις της θεραπείας εν μέσω δεδομένων θορυβώδους αποτελέσματος.

22. [ , ] Κάνετε το ίδιο με την προηγούμενη ερώτηση, αλλά, αντί για προσομοίωση, πρέπει να χρησιμοποιήσετε αναλυτικά αποτελέσματα.

23. [ , , ] Κάντε την ίδια με την προηγούμενη ερώτηση, αλλά χρησιμοποιήστε τόσο προσομοίωση όσο και αναλυτικά αποτελέσματα.

24. [ , , ] Φανταστείτε ότι έχετε γράψει το σημείωμα που περιγράψαμε παραπάνω και κάποιος από το τμήμα μάρκετινγκ παρέχει μία νέα πληροφορία: αναμένουν 0,4 συσχετισμό μεταξύ των πωλήσεων πριν και μετά το πείραμα. Πώς αυτό αλλάζει τις συστάσεις στο σημείωμά σας; (Συμβουλή: ανατρέξτε στην ενότητα 4.6.2 για περισσότερες πληροφορίες σχετικά με τον εκτιμητή διαφοράς μέσου και τον εκτιμητή διαφορών στις διαφορές.)

25. [ , ] Για να αξιολογηθεί η αποτελεσματικότητα ενός νέου προγράμματος παροχής βοήθειας για την απασχόληση μέσω διαδικτύου, ένα πανεπιστήμιο διεξήγαγε μια τυχαιοποιημένη δοκιμή ελέγχου μεταξύ των 10.000 φοιτητών που εισήλθαν στο τελευταίο έτος του σχολείου τους. Μια δωρεάν συνδρομή με μοναδικές πληροφορίες εισόδου στάλθηκε μέσω μιας αποκλειστικής πρόσκλησης με ηλεκτρονικό ταχυδρομείο σε 5.000 από τους τυχαία επιλεγμένους μαθητές, ενώ οι υπόλοιποι 5.000 φοιτητές ήταν στην ομάδα ελέγχου και δεν είχαν συνδρομή. Δώδεκα μήνες αργότερα, μια έρευνα παρακολούθησης (χωρίς μη ανταπόκριση) έδειξε ότι τόσο στις ομάδες θεραπείας όσο και στις ομάδες ελέγχου, το 70% των μαθητών είχε εξασφαλίσει πλήρη απασχόληση στον επιλεγμένο τομέα (πίνακας 4.6). Έτσι, φαινόταν ότι η υπηρεσία μέσω διαδικτύου δεν είχε καμία επίδραση.

    Ωστόσο, ένας έξυπνος επιστήμονας δεδομένων στο πανεπιστήμιο εξέτασε τα δεδομένα λίγο πιο στενά και διαπίστωσε ότι μόνο το 20% των μαθητών της ομάδας θεραπείας είχε συνδεθεί ποτέ στο λογαριασμό μετά τη λήψη του μηνύματος ηλεκτρονικού ταχυδρομείου. Περαιτέρω και κάπως απροσδόκητα, μεταξύ αυτών που μπήκαν στην ιστοσελίδα, μόνο το 60% είχε εξασφαλίσει απασχόληση πλήρους απασχόλησης στον επιλεγμένο τομέα τους, το οποίο ήταν χαμηλότερο από το ποσοστό για τους ανθρώπους που δεν συμμετείχαν και χαμηλότερο από το ποσοστό για τους ανθρώπους στην κατάσταση ελέγχου (πίνακας 4.7).

    1. Παρέχετε μια εξήγηση για το τι θα μπορούσε να συμβεί.
    2. Ποιοι είναι οι δύο διαφορετικοί τρόποι υπολογισμού της επίδρασης της θεραπείας σε αυτό το πείραμα;
    3. Με δεδομένο αυτό το αποτέλεσμα, θα πρέπει να παρέχει αυτή την υπηρεσία σε όλους τους μαθητές; Για να είμαστε σαφείς, αυτό δεν είναι μια ερώτηση με μια απλή απάντηση.
    4. Τι πρέπει να κάνουν στη συνέχεια;

    Συμβουλή: Η ερώτηση αυτή υπερβαίνει το υλικό που καλύπτεται σε αυτό το κεφάλαιο, αλλά αντιμετωπίζει θέματα κοινά σε πειράματα. Αυτός ο τύπος πειραματικού σχεδιασμού αποκαλείται ενίοτε σχεδιασμός ενθάρρυνσης επειδή οι συμμετέχοντες ενθαρρύνονται να συμμετάσχουν στη θεραπεία. Αυτό το πρόβλημα είναι ένα παράδειγμα της αποκαλούμενης μονόπλευρης μη συμμόρφωσης (βλ. Κεφάλαιο 5 του Gerber and Green (2012) ).

26. [ ] Μετά από περαιτέρω εξέταση, αποδείχθηκε ότι το πείραμα που περιγράφηκε στην προηγούμενη ερώτηση ήταν ακόμα πιο περίπλοκο. Αποδείχθηκε ότι το 10% του πληθυσμού της ομάδας ελέγχου πλήρωσε για πρόσβαση στην υπηρεσία και κατέληξε σε ποσοστό απασχόλησης 65% (πίνακας 4.8).

    1. Γράψτε ένα email που συνοψίζει αυτό που νομίζετε ότι συμβαίνει και προτείνετε μια πορεία δράσης.

    Συμβουλή: Η ερώτηση αυτή υπερβαίνει το υλικό που καλύπτεται σε αυτό το κεφάλαιο, αλλά αντιμετωπίζει θέματα κοινά σε πειράματα. Αυτό το πρόβλημα είναι ένα παράδειγμα της αποκαλούμενης μη-συμμόρφωσης δύο όψεων (βλ. Κεφάλαιο 6 του Gerber and Green (2012) ).