Δραστηριότητες

Κλειδί:

• βαθμός δυσκολίας: εύκολη , μέσο , σκληρά , πολύ δύσκολο
• απαιτεί μαθηματικά ( )
• απαιτεί κωδικοποίησης ( )
• συλλογή δεδομένων ( )
• τα αγαπημένα μου ( )

1. [ , ] Berinsky και οι συνεργάτες του (2012) αξιολογεί Μηχανική Turk εν μέρει από την αντιγραφή τρία κλασικά πειράματα. Αναπαράγουν την κλασική ασιατική πείραμα διαμόρφωση νόσου με Tversky and Kahneman (1981) . Κάνετε τα αποτελέσματά σας αγώνα Tversky και Kahneman του; Κάνετε τα αποτελέσματά σας αγώνα Berinsky και οι συνεργάτες του; Τι-αν μη τι άλλο, δεν μας διδάσκει αυτό σχετικά με τη χρήση Μηχανολόγων Turk για πειράματα έρευνας;

2. [ , ] Σε ένα έγγραφο κάπως τη γλώσσα-σε-μάγουλο με τίτλο "Πρέπει να χωρίσει," η κοινωνική ψυχολόγος Robert Cialdini, ένας από τους συντάκτες της Schultz et al. (2007) , έγραψε ότι ήταν πρόωρη συνταξιοδότηση από την εργασία του ως καθηγητής, εν μέρει λόγω των προκλήσεων που αντιμετώπισε κάνει πειράματα πεδίου σε μια πειθαρχία (ψυχολογία) που διεξάγει κυρίως εργαστηριακά πειράματα (Cialdini 2009) . Διαβάστε χαρτί Cialdini του, και να τον γράψετε ένα e-mail ζητώντας του να αναθεωρήσει τη διάλυση του υπό το πρίσμα των δυνατοτήτων της ψηφιακής πειράματα. Χρησιμοποιήστε συγκεκριμένα παραδείγματα της έρευνας που αντιμετωπίζουν τις ανησυχίες του.

3. [ ] Για να προσδιοριστεί εάν μικρές αρχικές επιτυχίες lock-in ή να εξαφανιστούν, van de Rijt και και οι συνεργάτες του (2014) παρενέβη σε τέσσερα διαφορετικά συστήματα παραχωρούμε επιτυχία σε τυχαία επιλεγμένους συμμετέχοντες, και στη συνέχεια μετρήθηκαν οι μακροπρόθεσμες επιπτώσεις αυτής της αυθαίρετης επιτυχία. Μπορείτε να σκεφτείτε άλλα συστήματα στα οποία θα μπορούσε να τρέξει παρόμοια πειράματα; Αξιολογούν τα συστήματα αυτά όσον αφορά τα θέματα της επιστημονικής αξίας, αλγοριθμική σύγχυση (βλέπε κεφάλαιο 2), και την ηθική.

4. [ , ] Τα αποτελέσματα ενός πειράματος μπορεί να εξαρτάται από τους συμμετέχοντες. Δημιουργήστε ένα πείραμα και στη συνέχεια να το εκτελέσετε στον Amazon Mechanical Turk (MTurk) χρησιμοποιώντας δύο διαφορετικές στρατηγικές πρόσληψης. Προσπαθήστε να πάρει τις στρατηγικές πείραμα και την πρόσληψη, έτσι ώστε τα αποτελέσματα θα είναι τόσο διαφορετικές όσο το δυνατόν περισσότερο. Για παράδειγμα, στρατηγικές πρόσληψης σας θα μπορούσε να είναι να προσλάβει τους συμμετέχοντες το πρωί και το βράδυ ή να αποζημιώσει τους συμμετέχοντες με υψηλές και χαμηλές αμοιβές. Αυτού του είδους οι διαφορές στη στρατηγική προσλήψεων θα μπορούσε να οδηγήσει σε διαφορετικές πισίνες των συμμετεχόντων και των διαφορετικών πειραματικών αποτελεσμάτων. Πόσο διαφορετική ήταν τα αποτελέσματά σας αποδεικνύονται; Τι σημαίνει ότι αποκαλύπτουν σχετικά με την εκτέλεση πειραμάτων σε MTurk;

5. [ , , , ] Φανταστείτε ότι σχεδίαζαν τη συναισθηματική μελέτη Contagion (Kramer, Guillory, and Hancock 2014) . Χρησιμοποιήστε τα αποτελέσματα από μια προηγούμενη μελέτη παρατήρησης από Kramer (2012) για να αποφασίσει τον αριθμό των συμμετεχόντων σε κάθε κατάσταση. Οι δύο αυτές μελέτες δεν ταιριάζουν απόλυτα, ώστε να είναι σίγουρος για να απαριθμήσει ρητά όλες τις υποθέσεις που κάνετε:

   1. Εκτελέστε μια προσομοίωση που θα αποφασίσει πόσοι συμμετέχοντες θα έχουν απαιτούνται για να ανιχνεύσει ένα αποτέλεσμα τόσο μεγάλη όσο η επίδραση στο Kramer (2012) με \ (\ alpha = 0.05 \) και \ (1 - \ beta = 0.8 \).
   2. Κάντε το ίδιο υπολογισμό αναλυτικά.
   3. Λαμβάνοντας υπόψη τα αποτελέσματα από Kramer (2012) ήταν Συναισθηματική Contagion (Kramer, Guillory, and Hancock 2014) πάνω-powered (δηλαδή, δεν το έχουν περισσότερους συμμετέχοντες ό, τι χρειάζεται);
   4. Των υποθέσεων που κάνατε, που έχουν τη μεγαλύτερη επίδραση στην υπολογισμός σας;

6. [ , , , ] Απάντηση στην ερώτηση παραπάνω, αλλά αντί να χρησιμοποιούν την παλαιότερη μελέτη παρατήρησης από Kramer (2012) χρησιμοποιεί τα αποτελέσματα από μια προηγούμενη φυσικό πείραμα από Coviello et al. (2014) .

7. [ ] Τόσο Rijt et al. (2014) και Margetts et al. (2011) και οι δύο εκτελούν πειράματα που μελετούν τη διαδικασία των ανθρώπων που υπέγραψαν αναφορά. Συγκρίνουν και να αντιπαραβάλλουν το σχεδιασμό και τα ευρήματα των μελετών αυτών.

8. [ ] Dwyer, Maki, and Rothman (2015) διεξήγαγε δύο πειράματα πεδίου για τη σχέση μεταξύ των κοινωνικών προτύπων και proenvironmental συμπεριφορά. Εδώ είναι η περίληψη της ανακοίνωσής τους:

   "Πώς θα μπορούσε να χρησιμοποιηθεί για την ψυχολογική επιστήμη να ενθαρρύνει proenvironmental συμπεριφορά; Σε δύο μελέτες, οι παρεμβάσεις που στοχεύουν στην προώθηση της συμπεριφοράς εξοικονόμησης ενέργειας στα δημόσια λουτρά εξέτασε τις επιδράσεις των περιγραφικών κανόνων και προσωπική ευθύνη. Στη Μελέτη 1, η λυχνία κατάστασης (δηλαδή, on ή off) ήταν χειραγωγείται πριν κάποιος εισέλθει σε μια ακατοίκητη δημόσια τουαλέτα, σηματοδοτώντας την περιγραφική κανόνας για την εν λόγω ρύθμιση. Οι συμμετέχοντες είχαν σημαντικά περισσότερες πιθανότητες να κλείνουν τα φώτα αν ήταν μακριά όταν μπήκαν. Στη Μελέτη 2, ένας πρόσθετος όρος περιλήφθηκε στην οποία ο κανόνας από το σβήσιμο του φωτός αποδείχθηκε από μια ομόσπονδη, αλλά οι συμμετέχοντες δεν ήταν οι ίδιοι υπεύθυνοι για την ενεργοποιήσετε. Προσωπική ευθύνη συντόνισε την επιρροή των κοινωνικών κανόνων σχετικά με τη συμπεριφορά? όταν οι συμμετέχοντες δεν ήταν υπεύθυνοι για την ενεργοποίηση του φωτός, η επιρροή της νόρμας ήταν μειωμένη. Τα αποτελέσματα αυτά δείχνουν πόσο περιγραφικό κανόνες και την προσωπική ευθύνη μπορεί να ρυθμίσει την αποτελεσματικότητα της proenvironmental παρεμβάσεων. "

   Διαβάστε το χαρτί τους και να σχεδιάσουν μια αντιγραφή της μελέτης 1.

9. [ , ] Με βάση την προηγούμενη ερώτηση, τώρα πραγματοποιήσει το σχέδιό σας.

   1. Πώς τα αποτελέσματα συγκρίνουν;
   2. Τι θα μπορούσε να εξηγήσει αυτές τις διαφορές;

10. [ ] Δεν υπήρξε ουσιαστική συζήτηση σχετικά με τα πειράματα που χρησιμοποιούν οι συμμετέχοντες που προσλαμβάνονται από το Amazon Mechanical Turk. Παράλληλα, υπήρξε επίσης σημαντική συζήτηση σχετικά με τα πειράματα που χρησιμοποιούν οι συμμετέχοντες που προσλαμβάνονται από το προπτυχιακό φοιτητή πληθυσμούς. Γράψτε ένα σημείωμα δύο σελίδων συγκρίνοντας και αντιπαραθέτοντας τις Turkers και προπτυχιακούς φοιτητές ως ερευνητές συμμετέχοντες. σύγκριση σας θα πρέπει να περιλαμβάνουν μια συζήτηση των δύο επιστημονικών και διοικητικών ζητημάτων.

11. [ Βιβλίο] Jim Manzi του Ανεξέλεγκτη (2012) είναι μια θαυμάσια εισαγωγή στη δύναμη του πειραματισμού στην επιχείρηση. Στο βιβλίο που αναμεταδίδεται αυτή την ιστορία:

    «Ήμουν κάποτε σε μια συνάντηση με μια πραγματική επιχειρηματική ιδιοφυΐα, αυτοδημιούργητος δισεκατομμυριούχος που είχε μια βαθιά, διαισθητική υποεκτιμήσεις τη δύναμη των πειραμάτων. Η εταιρεία του πέρασε σημαντικούς πόρους προσπαθώντας να δημιουργήσει μεγάλη βιτρίνα οθόνες που θα προσελκύσουν τους καταναλωτές και τις πωλήσεις αυξήσεις, όπως η συμβατική σοφία είπε ότι θα έπρεπε. Οι ειδικοί ελεγχθεί προσεκτικά το σχεδιασμό μετά την κατασκευή, και σε ατομικές συνεδρίες επανεξέτασης δοκιμασία για μια περίοδο ετών διατηρούνται δείχνει καμία σημαντική αιτιώδης επίδραση κάθε νέα σχεδίαση της οθόνης στις πωλήσεις. Senior marketing και merchandising στελέχη συναντήθηκε με τον Διευθύνοντα Σύμβουλο να επανεξετάσει αυτά τα αποτελέσματα ιστορική δοκιμασία στο σύνολό της. Μετά την παρουσίαση όλων των πειραματικών δεδομένων, κατέληξαν στο συμπέρασμα ότι η συμβατική σοφία ήταν λάθος-ότι βιτρίνες μην οδηγείτε πωλήσεων. Συνιστάται η δράση τους ήταν να μειώσει το κόστος και την προσπάθεια σε αυτόν τον τομέα. Αυτό έδειξε δραματικά την ικανότητα του πειραματισμού για την ανατροπή συμβατική σοφία. Η απάντηση του Διευθύνοντος Συμβούλου ήταν απλή: «Το συμπέρασμά μου είναι ότι οι σχεδιαστές σας δεν είναι πολύ καλή." Λύση του ήταν να αυξήσει την προσπάθεια στο σχεδιασμό της οθόνης κατάστημα και να πάρει τους νέους ανθρώπους για να το κάνει. " (Manzi 2012, 158–9)

    Ποιο είδος ισχύος είναι η ανησυχία του CEO;

12. [ ] Με βάση την προηγούμενη ερώτηση, φανταστείτε ότι ήταν κατά τη συνεδρίαση όπου συζητήθηκαν τα αποτελέσματα των πειραμάτων. Ποιες είναι οι τέσσερις ερωτήσεις που θα μπορούσατε να ρωτήσετε, ένα για κάθε τύπο ισχύος (στατιστική, την κατασκευή, την εσωτερική και εξωτερική);

13. [ ] Bernedo, Ferraro, and Price (2014) μελετά την επταετή επίδραση της παρέμβασης εξοικονόμησης νερού που περιγράφεται στο Ferraro, Miranda, and Price (2011) (βλέπε σχήμα 4.10). Σε αυτή την εργασία, Bernedo και οι συνεργάτες του επιδιώκουν επίσης να κατανοήσουμε το μηχανισμό πίσω από το φαινόμενο, συγκρίνοντας τη συμπεριφορά των νοικοκυριών που έχουν και δεν έχουν μετακινηθεί μετά την επεξεργασία παραδόθηκε. Δηλαδή, περίπου, θα προσπαθήσουμε να δούμε αν η θεραπεία επηρέασε το σπίτι ή ο ιδιοκτήτης σπιτιού.

    1. Διαβάστε το χαρτί, περιγράφουν το σχεδιασμό τους, και να συνοψίσει τα συμπεράσματά τους. β) Να τα ευρήματά τους να επηρεάσουν το πώς θα πρέπει να αξιολογήσει τη σχέση κόστους-αποτελεσματικότητας των αντίστοιχων παρεμβάσεων; Αν ναι, γιατί; Αν όχι, γιατί όχι;

14. [ ] Σε συνέχεια της Schultz et al. (2007) , Schultz και οι συνεργάτες του να εκτελέσει μια σειρά τριών πειραμάτων σχετικά με την επίδραση των περιγραφικών και ασφαλιστικά πρότυπα σε μια διαφορετική περιβαλλοντική συμπεριφορά (επαναχρησιμοποίηση πετσέτα) σε δύο πλαίσια (ένα ξενοδοχείο και ένα συγκυριαρχία χρονομεριστική μίσθωση) (Schultz, Khazian, and Zaleski 2008) .

    1. Συνοψίζουν το σχεδιασμό και τα ευρήματα αυτών των τριών πειραμάτων.
    2. Πώς, αν όχι καθόλου, δεν αλλάζουν τη δική σας ερμηνεία της Schultz et al. (2007) ;

15. [ ] Σε απάντηση Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) πραγματοποίησε μια σειρά lab-όπως και πειράματα για να μελετήσουν το σχεδιασμό των ηλεκτρικών τους λογαριασμούς. Εδώ είναι πώς να το περιγράψω στο αφηρημένο:

    "Σε ένα πείραμα που βασίζονται σε έρευνες, κάθε συμμετέχων είδε ένα υποθετικό λογαριασμό ηλεκτρικού ρεύματος για μια οικογένεια με σχετικά υψηλή χρήση της ηλεκτρικής ενέργειας, καλύπτοντας πληροφορίες σχετικά με (α) την ιστορική χρήση, (β) συγκρίσεις με τους γείτονες, και (γ) το ιστορικό της χρήσης με ανάλυση της συσκευής. Οι συμμετέχοντες είδε όλους τους τύπους πληροφοριών σε μία από τις τρεις μορφές, συμπεριλαμβανομένων (α) πίνακες, (β) ιστογράμματα, και (γ) το εικονίδιο γραφήματα. Αναφέρουμε σε τρεις βασικές διαπιστώσεις. Πρώτον, οι καταναλωτές κατανοητό κάθε είδος των πληροφοριών ηλεκτρικής χρήσης η πιο όταν παρουσιάστηκε σε ένα τραπέζι, ίσως επειδή πίνακες διευκολύνουν την απλή ανάγνωση σημείο. Δεύτερον, τις προτιμήσεις και τις προθέσεις για να σώσει την ηλεκτρική ενέργεια ήταν η ισχυρότερη για τις πληροφορίες ιστορική χρήση, ανεξάρτητα από τη μορφή. Τρίτον, τα άτομα με χαμηλότερη ενέργεια παιδεία κατανοητό όλες τις πληροφορίες λιγότερο. "

    Σε αντίθεση με άλλες μελέτες παρακολούθησης, το κύριο αποτέλεσμα του ενδιαφέροντος σε Canfield, Bruin, and Wong-Parodi (2016) αναφέρεται η συμπεριφορά δεν την πραγματική συμπεριφορά. Ποια είναι τα πλεονεκτήματα και τις αδυναμίες αυτού του τύπου μελέτης σε ένα ευρύτερο ερευνητικό πρόγραμμα την προώθηση της εξοικονόμησης ενέργειας;

16. [ , ] Smith and Pell (2003) είναι μια σατιρική μετα-ανάλυση των μελετών που αποδεικνύουν την αποτελεσματικότητα των αλεξίπτωτα. Καταλήγουν στο συμπέρασμα:

    "Όπως συμβαίνει με πολλές παρεμβάσεις που αποσκοπούν στην πρόληψη προβλημάτων υγείας, η αποτελεσματικότητα των αλεξίπτωτα δεν έχει υποβληθεί σε αυστηρή αξιολόγηση με τη χρήση τυχαιοποιημένων ελεγχόμενων δοκιμών. Υποστηρικτές των αποδεικτικών στοιχείων που βασίζονται ιατρικής έχουν επικρίνει την έγκριση των παρεμβάσεων αξιολογείται με τη χρήση μόνο παρατηρησιακά δεδομένα. Πιστεύουμε ότι ο καθένας μπορεί να ωφεληθεί αν οι πιο ριζοσπαστικές πρωταγωνιστές των αποδεικτικών στοιχείων που βασίζονται ιατρικής οργάνωσε και συμμετείχε σε μια διπλή τυφλή, τυχαιοποιημένη, ελεγχόμενη με εικονικό φάρμακο, διασταυρούμενη δοκιμή του αλεξίπτωτου. "

    Γράψτε ένα op-ed κατάλληλο για γενική εφημερίδα αναγνωστικό κοινό, όπως το The New York Times, υποστηρίζοντας εναντίον του φετιχισμού του πειραματικές αποδείξεις. Παρέχει ειδική συγκεκριμένα παραδείγματα. Συμβουλή: Βλέπε επίσης, Bothwell et al. (2016) και Deaton (2010)

17. [ , , ] Διαφορά-σε-διαφορές εκτιμητών της επίδρασης της θεραπείας μπορεί να είναι πιο ακριβή από ό, τι η διαφορά-σε-μέση εκτιμητές. Γράψτε ένα σημείωμα σε έναν μηχανικό που είναι επιφορτισμένες με τον έλεγχο Α / Β σε εκκίνησης εταιρεία social media που εξηγεί την αξία της προσέγγισης διαφορά-σε-διαφορές για τη λειτουργία ενός online πειράματος. Το σημείωμα θα πρέπει να περιλαμβάνει μια δήλωση του προβλήματος, κάποια διαίσθηση σχετικά με τις συνθήκες κάτω από τις οποίες ο εκτιμητής διαφορά-σε-διαφορά θα ξεπεράσουν το εκτιμητή διαφορά-σε-μέση, και μια απλή μελέτη προσομοίωσης.

18. [ , ] Gary Loveman ήταν καθηγητής στο Harvard Business School, πριν να γίνει ο διευθύνων σύμβουλος της Harrah, μία από τις μεγαλύτερες εταιρίες καζίνο στον κόσμο. Όταν μετακόμισε στο Harrah, Loveman μετέτρεψε την εταιρεία με ένα συχνό ταξιδιώτη που μοιάζει με πρόγραμμα πίστης που συνέλεξε τεράστιες ποσότητες δεδομένων σχετικά με τη συμπεριφορά των πελατών. Στην κορυφή αυτής της πάντα-on σύστημα μέτρησης, η εταιρεία άρχισε να τρέχει πειράματα. Για παράδειγμα, μπορεί να τρέξει ένα πείραμα για να αξιολογηθεί η επίδραση μιας κουπόνι για ένα δωρεάν διανυκτέρευση ξενοδοχείο για τους πελάτες με ένα συγκεκριμένο μοτίβο παιχνιδιού. Εδώ είναι πώς Loveman περιέγραψε τη σημασία του πειραματισμού στην καθημερινή επιχειρηματικές πρακτικές της Harrah:

    «Είναι σαν να μην παρενοχλούν τις γυναίκες, που δεν κλέβουν, και έχετε να έχουμε μια ομάδα ελέγχου. Αυτό είναι ένα από τα πράγματα που μπορείτε να χάσετε τη δουλειά σας για Harrah's-δεν τρέχει μια ομάδα ελέγχου. " (Manzi 2012, 146)

    Γράψτε ένα e-mail σε ένα νέο υπάλληλο που εξηγεί γιατί Loveman νομίζει ότι είναι τόσο σημαντικό να έχουμε μια ομάδα ελέγχου. Θα πρέπει να προσπαθήσετε να συμπεριλάβετε ένα παράδειγμα-είτε πραγματικά είτε γίνει up-to εξηγήσει την άποψή σας.

19. [ , ] Ένα νέο πείραμα έχει ως στόχο να εκτιμήσει την επίδραση της λήψης υπενθυμίσεις μηνυμάτων κειμένου στην πρόσληψη εμβολιασμό. 150 κλινικές, το καθένα με 600 επιλέξιμους ασθενείς, είναι πρόθυμοι να συμμετάσχουν. Υπάρχει ένα σταθερό κόστος των 100 δολαρίων για κάθε κλινική που θέλετε να εργαστείτε με και κοστίζει 1 δολάριο για κάθε μήνυμα κειμένου που θέλετε να στείλετε. Περαιτέρω, τυχόν κλινικές που εργάζεστε με, θα μετρήσει το αποτέλεσμα (αν κάποιος λάβει ένα εμβολιασμός) για δωρεάν. Ας υποθέσουμε ότι έχετε έναν προϋπολογισμό του 1000 δολάρια.

    1. Κάτω από ποιες συνθήκες θα μπορούσε να είναι καλύτερο να εστιάσει τους πόρους σας σε ένα μικρό αριθμό κλινικών και κάτω από ποιες συνθήκες θα μπορούσε να είναι καλύτερο να διαδοθεί ευρύτερα;
    2. Ποιοι παράγοντες θα καθορίσουν το μικρότερο μέγεθος της επίδρασης που θα είναι σε θέση να ανιχνεύσει αξιόπιστα με τον προϋπολογισμό σας;
    3. Γράψτε ένα σημείωμα που εξηγεί αυτά τα ανταλλάγματα σε έναν πιθανό χρηματοδότη.

20. [ , ] Ένα σημαντικό πρόβλημα με online μαθήματα είναι φθορά? πολλοί μαθητές που ξεκινούν τα μαθήματα καταλήγουν ρίψη-out. Φανταστείτε ότι εργάζεστε σε ένα online πλατφόρμα μάθησης, και ένας σχεδιαστής στην πλατφόρμα έχει δημιουργήσει μια οπτική γραμμή προόδου που σκέφτεται θα βοηθήσει να αποτρέψει τους μαθητές από την εγκατάλειψη του μαθήματος. Θέλετε να δοκιμαστεί η επίδραση του γραμμή προόδου για τους φοιτητές σε μια μεγάλη υπολογιστική κοινωνικών επιστημών πορεία. Μετά την αντιμετώπιση τυχόν ηθικά ζητήματα που μπορεί να προκύψουν στο πείραμα, εσείς και οι συνάδελφοί σας να ανησυχούν ότι η πορεία μπορεί να μην έχουν αρκετή μαθητές να ανιχνεύσει αξιόπιστα τις επιδράσεις της γραμμή προόδου. Στα παρακάτω μπορείτε υπολογισμούς μπορούμε να υποθέσουμε ότι οι μισοί από τους μαθητές θα λάβουν τη γραμμή προόδου και το μισό όχι. Περαιτέρω, μπορείτε να υποθέσετε ότι δεν υπάρχει καμία παρεμβολή. Με άλλα λόγια, μπορείτε να υποθέσετε ότι οι συμμετέχοντες επηρεάζονται μόνο από το αν έλαβαν τη θεραπεία ή τον έλεγχο? δεν επηρεάζονται από το αν άλλοι άνθρωποι έλαβαν τη θεραπεία ή τον έλεγχο (για μια πιο επίσημο ορισμό, δείτε Gerber and Green (2012) , Χ. 8). Παρακαλούμε να παρακολουθείτε τυχόν πρόσθετα τεκμήρια που κάνετε.

    1. Ας υποθέσουμε ότι η γραμμή προόδου αναμένεται να αυξήσει το ποσοστό των μαθητών που τελειώνουν την τάξη κατά 1 ποσοστιαία μονάδα, ποιο είναι το μέγεθος του δείγματος που απαιτείται για να ανιχνεύσει αξιόπιστα το αποτέλεσμα;
    2. Ας υποθέσουμε ότι η γραμμή προόδου αναμένεται να αυξήσει το ποσοστό των μαθητών που τελειώνουν την τάξη κατά 10 ποσοστιαίες μονάδες, ποιο είναι το μέγεθος του δείγματος που απαιτείται για να ανιχνεύσει αξιόπιστα το αποτέλεσμα;
    3. Τώρα φανταστείτε ότι έχετε τρέξει το πείραμα και οι μαθητές που έχουν ολοκληρώσει όλα τα φυσικά υλικά έχουν λάβει μια τελική εξέταση. Όταν συγκρίνετε τις τελικές βαθμολογίες των εξετάσεων των μαθητών που έλαβαν τη γραμμή προόδου για εκείνους που δεν μπορείτε να βρείτε, προς μεγάλη έκπληξή σας, ότι οι φοιτητές που δεν έλαβαν τη γραμμή προόδου στην πραγματικότητα υψηλότερη βαθμολογία. Μήπως αυτό σημαίνει ότι η γραμμή προόδου που προκαλείται στους μαθητές να μάθουν λιγότερο; Τι μπορείτε να μάθετε από αυτά τα δεδομένα το αποτέλεσμα; (Συμβουλή: Δείτε Gerber and Green (2012) , Χ. 7)

21. [ , ] Σε ένα όμορφο χαρτί, Lewis and Rao (2015) δείχνουν έντονα μια βασική στατιστική περιορισμό της ακόμη και η μαζική πειράματα. Το χαρτί που είχε αρχικά το προκλητικό τίτλο «Από την Εγγύς αδυναμία Μέτρηση των Επιστρέφει στην διαφήμιση" -εμφανίζει πόσο δύσκολο είναι να μετρήσει την απόδοση της επένδυσης των online διαφημίσεων, ακόμη και με ψηφιακή πειράματα με εκατομμύρια πελάτες. Γενικότερα, το έγγραφο δείχνει σαφώς ότι είναι δύσκολο να εκτιμηθεί μικρή επίδραση της θεραπείας μέσα σε θορυβώδη δεδομένα αποτέλεσμα. Ή δήλωσε diffently, το έγγραφο δείχνει ότι η αναμενόμενη αποτελέσματα της θεραπείας θα έχουν μεγάλα διαστήματα εμπιστοσύνης, όταν η επίπτωση-to-τυπικής απόκλισης (\ (\ frac {\ Delta \ bar {y}} {\ sigma} \)) η αναλογία είναι μικρή. Το σημαντικό γενικό δίδαγμα από αυτό το χαρτί είναι ότι τα αποτελέσματα από πειράματα με μικρά αναλογία των επιπτώσεων-to-τυπικής απόκλισης (π.χ., ROI των εκστρατειών διαφήμισης) θα είναι ανικανοποίητος. Η πρόκλησή σας είναι να γράψετε ένα σημείωμα σε κάποιον στο τμήμα μάρκετινγκ της εταιρείας σας evaluting μια προγραμματισμένη πείραμα για τη μέτρηση του ROI μιας διαφημιστικής καμπάνιας. memo σας θα πρέπει να υποστηριχθεί με γραφικές παραστάσεις των αποτελεσμάτων των προσομοιώσεων σε υπολογιστή.

    Εδώ είναι μερικές βασικές πληροφορίες που μπορεί να χρειαστείτε. Όλες αυτές οι αριθμητικές τιμές είναι τυπικές των πραγματικών πειραμάτων αναφέρονται στον Lewis and Rao (2015) :

    • ROI, ένα βασικό μετρικό για online διαφημιστικές καμπάνιες, ορίζεται να είναι το καθαρό κέρδος από την εκστρατεία (μικτό κέρδος από την καμπάνια μείον το κόστος της εκστρατείας) διαιρούμενο με το κόστος της εκστρατείας. Για παράδειγμα, μια εκστρατεία που δεν είχε καμία επίδραση επί των πωλήσεων θα έχει ROI -100% και μια εκστρατεία όπου τα κέρδη που δημιουργούνται ήταν ίσο με το κόστος θα έχει ένα ROI από το 0.

    • οι μέσες πωλήσεις ανά πελάτη είναι $ 7 με μια τυπική απόκλιση των $ 75.

    • η εκστρατεία αναμένεται να αυξήσει τις πωλήσεις κατά $ 0,35 ανά πελάτη, που αντιστοιχεί σε αύξηση των κερδών των $ 0.175 ανά πελάτη. Με άλλα λόγια, το μικτό περιθώριο κέρδους είναι 50%.

    • η προγραμματισμένη μέγεθος του πειράματος είναι 200.000 άνθρωποι, το ήμισυ στην ομάδα θεραπείας και ένα δεύτερο στην ομάδα ελέγχου.

    • το κόστος της εκστρατείας είναι $ 0,14 ανά συμμετέχοντα.

    Γράψτε ένα σημείωμα evaluting αυτό το πείραμα. Θα πρότεινα την έναρξη αυτού του πειράματος όπως έχει προγραμματιστεί; Αν ναι, γιατί; Εάν όχι, ποιες αλλαγές θα προτείνατε;

    Ένα καλό σημείωμα θα αντιμετωπίσει τη συγκεκριμένη περίπτωση? μια καλύτερη σημείωμα θα γενικεύσει από αυτήν την περίπτωση σε ένα τρόπο (π.χ., δείχνουν πώς οι αλλαγές απόφαση ως συνάρτηση της αναλογίας των επιπτώσεων προς τυπικής απόκλισης)? και μια μεγάλη υπόμνημα θα παρουσιάσει μια πλήρως γενικευμένη αποτέλεσμα.

22. [ , ] Κάντε το ίδιο με την προηγούμενη ερώτηση, αλλά όχι προσομοίωση θα πρέπει να χρησιμοποιήσετε αναλυτικά αποτελέσματα.

23. [ , , ] Κάντε το ίδιο με την προηγούμενη ερώτηση, αλλά χρησιμοποιούν τόσο προσομοίωσης και αναλυτικά αποτελέσματα.

24. [ , , ] Φανταστείτε ότι έχετε γράψει το σημείωμα που περιγράφεται παραπάνω χρησιμοποιώντας είτε προσομοίωσης, αναλυτικά αποτελέσματα, ή και τα δύο, και κάποιος από το τμήμα μάρκετινγκ συνιστά τη χρήση ενός εκτιμητή διαφορά-σε-διαφορές παρά μια διαφορά στο μέσο εκτιμητή (βλέπε Ενότητα 4.6.2) . Γράψτε μια νέα μικρότερη σημείωμα εξηγώντας πώς ένα 0,4 συσχέτιση μεταξύ των πωλήσεων πριν από το πείραμα και τις πωλήσεις μετά το πείραμα θα αλλάξει το συμπέρασμά σας.

25. [ , ] Για να αξιολογηθεί η αποτελεσματικότητα μιας νέας web-based υπηρεσία καριέρα, ένα γραφείο υπηρεσιών πανεπιστημιακή σταδιοδρομία πραγματοποίησε μια τυχαιοποιημένη μελέτη ελέγχου μεταξύ 10.000 φοιτητές που εισέρχονται τελευταίο έτος του σχολείου. Μια δωρεάν συνδρομή με μοναδικές πληροφορίες log-in εστάλη μέσω ενός αποκλειστικού πρόσκληση μέσω ηλεκτρονικού ταχυδρομείου σε 5.000 από τα τυχαία επιλεγμένους μαθητές, ενώ οι άλλοι 5.000 μαθητές είναι στην ομάδα ελέγχου και δεν έχουν μια συνδρομή. Δώδεκα μήνες αργότερα, μια έρευνα παρακολούθησης (χωρίς μη απάντησης) δείχνει ότι και στις δύο ομάδες θεραπείας και ελέγχου, το 70% των φοιτητών έχουν εξασφαλίσει την πλήρη απασχόληση στον τομέα της προτίμησής τους (Πίνακας 4.5). Έτσι, φαίνεται ότι η web-based υπηρεσία δεν είχε κανένα αποτέλεσμα.

    Ωστόσο, ένας έξυπνος επιστήμονας δεδομένων στο πανεπιστήμιο κοίταξε τα δεδομένα είναι λίγο πιο προσεκτικά και διαπίστωσε ότι μόνο το 20% των φοιτητών στην ομάδα θεραπείας συνδεθεί ποτέ στο λογαριασμό μετά την παραλαβή του ηλεκτρονικού ταχυδρομείου. Περαιτέρω, και κάπως απροσδόκητα, μεταξύ εκείνων που έχουν συνδεθεί με την ιστοσελίδα μόνο το 60% είχε εξασφαλίσει πλήρη απασχόληση στον τομέα της προτίμησής τους, το οποίο ήταν χαμηλότερο από το ποσοστό των ατόμων που δεν συνδεθείτε και χαμηλότερο από το ποσοστό των ατόμων στην η κατάσταση ελέγχου (Πίνακας 4.6).

    1. Δώστε μια εξήγηση για το τι θα μπορούσε να συμβεί.
    2. Ποιες είναι οι δύο διαφορετικοί τρόποι για να υπολογιστεί η επίδραση της θεραπείας σε αυτό το πείραμα;
    3. Με δεδομένο το αποτέλεσμα αυτό, θα πρέπει η υπηρεσία καριέρα πανεπιστήμιο παρέχει αυτό το web-based υπηρεσία καριέρα σε όλους τους φοιτητές; Ακριβώς για να είναι σαφής, αυτό δεν είναι μια ερώτηση με μια απλή απάντηση.
    4. Τι πρέπει να κάνουν το επόμενο βήμα;

    Συμβουλή: Αυτή η ερώτηση πηγαίνει πέρα ​​από το υλικό που καλύπτεται σε αυτό το κεφάλαιο, αλλά αντιμετωπίζει τα κοινά προβλήματα σε πειράματα. Αυτό το είδος του πειραματικού σχεδιασμού είναι μερικές φορές ονομάζεται σχεδιασμός ενθάρρυνση, επειδή οι ​​συμμετέχοντες ενθαρρύνονται να συμμετάσχουν σε θεραπεία. Το πρόβλημα αυτό είναι ένα παράδειγμα του τι λέγεται μονόπλευρη μη συμμόρφωσης (βλέπε Gerber and Green (2012) , Χ. 5)

26. [ ] Μετά από περαιτέρω εξέταση, αποδεικνύεται ότι το πείραμα που περιγράφεται στο προηγούμενο ερώτημα ήταν ακόμη πιο περίπλοκη. Αποδεικνύεται ότι το 10% των ανθρώπων στην ομάδα ελέγχου που καταβάλλεται για την πρόσβαση στην υπηρεσία, και κατέληξε με ένα ποσοστό απασχόλησης 65% (Πίνακας 4.7).

    1. Γράψτε ένα μήνυμα ηλεκτρονικού ταχυδρομείου που συνοψίζει ό, τι νομίζετε ότι συμβαίνει και να συστήσει μια πορεία δράσης.

    Συμβουλή: Αυτή η ερώτηση πηγαίνει πέρα ​​από το υλικό που καλύπτεται σε αυτό το κεφάλαιο, αλλά αντιμετωπίζει τα κοινά προβλήματα σε πειράματα. Το πρόβλημα αυτό είναι ένα παράδειγμα του τι λέγεται δύο όψεων μη συμμόρφωσης (βλέπε Gerber and Green (2012) , Χ. 6)