[ , ] Беринский және оның әріптестері (2012) MTurk-ны үш классикалық эксперименттерді репликациялау арқылы ішінара бағалады. Tversky and Kahneman (1981) классикалық Азия ауруларын құру тәжірибесін Tversky and Kahneman (1981) . Сіздің нәтижелеріңіз Tversky және Kahneman-ді салыстырады ма? Сіздің нәтижелеріңіз осы Беринскийге және әріптестеріне сәйкес келеді ме? Бұл қандай да бір нәрсе болса, бұл зерттеу тәжірибелеріне арналған MTurk қолдану туралы бізге үйретеді ме?
[ , «Шешу керек» деген бірнеше тілдегі мақалада әлеуметтік психолог Роберт Циалдини, Schultz et al. (2007) авторларының бірі Schultz et al. (2007) , ол профессор ретінде өз жұмысынан ерте босатылғанын жазған, ол негізінен зертханалық эксперименттер жүргізетін пән бойынша (психология) далалық эксперименттер жасаған кездегі қиындықтардан (Cialdini 2009) . Циалдинидің қағазын оқып, оған сандық эксперименттердің мүмкіндіктерін ескере отырып, оның бұзылуын қайта қарастыруға шақырған электронды хат жазыңыз. Өзінің алаңдаушылықтарын ескеретін зерттеудің нақты мысалдарын пайдаланыңыз.
[ ] Шағын шағын табыстың құлдырауы немесе жоғалуы туралы білу үшін, ван де Ритт және әріптестер (2014) Кездейсоқ таңдалған қатысушыларға табысқа жетелейтін төрт түрлі жүйеге араласып, содан кейін осы ерікті табыстың ұзақ мерзімді әсерін өлшеді. Осындай эксперименттерді жүргізе алатын басқа жүйелер туралы ойлайсыз ба? Бұл жүйелерді ғылыми құндылықтар, алгоритмдік араласу (2-тарауды қараңыз) және этика мәселелері бойынша бағалаңыз.
[ , ] Эксперимент нәтижелері қатысушыларға байланысты болуы мүмкін. Эксперимент жасаңыз, содан кейін MTurk-ге екі түрлі жалдау стратегиясын қолданыңыз. Нәтижелер мүмкіндігінше әр түрлі болатындай эксперимент және жалдау стратегиясын таңдауға тырысыңыз. Мысалы, жұмысқа орналастыру стратегиялары таңертең және кешке қатысушыларды тарту немесе қатысушыларды жоғары және төмен ақы төлеуге жұмсау болуы мүмкін. Жұмыспен қамту стратегиясындағы мұндай айырмашылықтар әр түрлі қатысушылардың пулдарына және әртүрлі эксперименттік нәтижелерге әкелуі мүмкін. Сіздің нәтижелеріңіз әр түрлі болды ма? Бұл MTurk эксперименттерін іске қосу туралы нені көрсетеді?
[ , , ] Emotional Contagion экспериментін жоспарлағанын елестетіп көріңіз (Kramer, Guillory, and Hancock 2014) . Kramer (2012) Бұрынғы байқаушы зерттеуінің нәтижелерін әр жағдайдағы қатысушылардың санын анықтау үшін пайдаланыңыз. Бұл екі зерттеу мінсіз сәйкес келмейді, сондықтан жасаған барлық жорамалдарыңызды нақты көрсетіңіз:
[ , , ] Алдыңғы сұраққа қайта жауап беріңіз, бірақ бұл жолы Kramer (2012) бұрынғы байқаушы зерттеуін Kramer (2012) пайдаланбаудың орнына, Lorenzo Coviello et al. (2014) бұрынғы табиғи экспериментінен алынған нәтижелерді пайдаланыңыз Lorenzo Coviello et al. (2014) .
[ ] Екі Margetts et al. (2011) және ван де Ритт және т.б. (2014) Өтініштерге қол қойған адамдардың үдерісін зерттейтін эксперименттер жүргізді. Осы зерттеулердің конструкциялары мен нәтижелерін салыстыру және салыстырыңыз.
[ ] Dwyer, Maki, and Rothman (2015) әлеуметтік нормалар мен экологиялық -экологиялық мінез-құлық арасындағы қарым-қатынасқа қатысты екі тәжірибе өткізді. Міне, олардың мақалаларының авторы:
«Қоршаған орта мінезін көтермелеу үшін психологиялық ғылым қалай қолданылуы мүмкін? Екі зерттеуде қоғамдық ванналарда энергия үнемдеу әрекетін ынталандыруға бағытталған іс-шаралар сипаттау нормаларының және жеке жауапкершіліктің әсерін зерттеді. Study 1-де жарықтандыру күйі (яғни, қосулы немесе өшірулі) біреу біреудің ашық ванна бөлмесіне кірмей тұрып манипуляцияланып, осы параметр үшін сипаттама нормасын білдірді. Қатысушылар, олар кіргенде өшірілсе, жарығын өшіріп тастайды. Зерттеудің 2-бөлімінде жарықты өшіру нормасы конфедерациялар тарапынан көрсетілді, бірақ оған қатысушылардың өздері жауап бермеді. Жеке жауапкершілік әлеуметтік нормалардың мінез-құлқына әсерін тигізді; Қатысушылар жарыққа шығу үшін жауап бермегенде, норманың әсері азайған. Бұл нәтижелер сипаттау нормалары мен жеке жауапкершілік қоршаған ортаны қорғау шараларының тиімділігін қалай реттеуі мүмкін екенін көрсетеді ».
Оқу материалдарын оқып, зерттеудің репликациясын жасаңыз.
[ , ] Алдыңғы сұраққа жауап бере отырып, енді сіздің дизайныңызды орындаңыз.
[ ] MTurk тартқан қатысушыларды пайдалана отырып, эксперименттер туралы айтарлықтай пікірталастар болды. Сонымен қатар, бакалавриат студенттік популяциялардан тартылған қатысушылардың қатысуымен эксперименттер туралы айтарлықтай пікірталастар да болды. Зерттеушілер ретінде, түркілер мен магистранттарды салыстыру және контрастын екі бетті жазу. Сіздің салыстыруыңыз ғылыми және логистикалық мәселелерді талқылауды қамтуы керек.
[ ] Джим Манзидің Uncontrolled (2012) кітабы бизнесте эксперимент жасайтын күшке тамаша кіріспе. Кітапта ол келесі әңгімені баяндайды:
«Мен бір кездері нақты бизнес генийімен, эксперименттердің күшін терең, интуитивті азайтқан, өздігінен жасалынған миллиардерлермен кездесуде болдым. Оның компаниясы тұтынушыларды тартатын және сату көлемін арттыратын дүкеннің үлкен терезелерін жасауға тырысатын айтарлықтай қаражат жұмсады, өйткені әдеттегі даналық олар қажет. Сарапшылар дизайннан кейін дизайнды мұқият тексерді, ал бірнеше жылдар бойы жеке сынақ сеанстарында сатылымдағы әр жаңа дизайнерлік дизайнның елеулі себепші әсері көрсетілмеді. Аға маркетинг және мерчандайзинг бойынша басшылар осы тарихи тест нәтижелерін талқылау үшін Бас директормен кездесті. Барлық эксперименттік деректерді ұсынғаннан кейін, олар әдеттегі даналықтың дұрыс емес екеніне көз жеткізді - бұл терезе сатылымды жүргізбейді. Олар осы бағытта жұмсалатын шығындарды азайтуды ұсынды. Бұл әдеттегі даналыққа қарсы эксперимент жасай білу қабілетін айқын көрсетіп берді. Бас директордың жауабы қарапайым болды: «Менің қорытындыларыңыз сіздің дизайнерлеріңіз өте жақсы емес». Оның шешімі дисплей дизайнында күш-жігерді арттыру және оны жаңа адамдарға беру болды » (Manzi 2012, 158–9)
Басшылықтың мүдделерін қандай дәрежеде қолдануға болады?
[ ] Алдыңғы сұраққа жауап бере отырып, эксперименттердің нәтижелері талқыланған кездесуде болғаныңызды елестетіңіз. Сіз сұрай алатын төрт сұрақ дегеніміз - әр бір жарамдылық түрі үшін (статистикалық, конструктивті, ішкі және сыртқы)?
[ ] Bernedo, Ferraro, and Price (2014) Ferraro, Miranda, and Price (2011) сипатталған су үнемдеуші араласудың жеті жылдық әсерін зерттеді (4.11-суретті қараңыз). Бердело мен оның әріптестері де емделуден кейін қозғалмаған және ауыстырылмаған үй шаруашылықтарының мінез-құлқын салыстыру арқылы әсер ету тетігін түсінуге тырысты. Яғни, шамамен олар емдеудің үйге немесе үй иесіне әсерін тигізді ме?
[ Schultz et al. (2007) , Schultz және әріптестері екі контексте (қонақ үй және (Schultz, Khazian, and Zaleski 2008) ) (Schultz, Khazian, and Zaleski 2008) әртүрлі экологиялық мінез-құлыққа (сүлгіні қайта пайдалану) сипаттама және инжинирингтік нормалардың әсері туралы үш эксперимент жасады, .
[ ] Schultz et al. (2007) жауап ретінде Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) электр шоттарының дизайнын зерттеуге арналған зертханалық ұқсас эксперименттер сериясын өткізді. Міне, олар оны дерексіз сипаттайды:
Сауалнамаға негізделген экспериментте әрбір қатысушы (a) тарихи пайдалану туралы ақпаратты қамтитын (b) көршілерге салыстыру және c) құрылғыны бұзу арқылы тарихи пайдалану туралы ақпаратты қамтитын салыстырмалы жоғары электр энергиясын пайдаланатын отбасы үшін гипотетикалық электр энергиясының есебін көрді. Қатысушылар барлық ақпарат түрлерін үш форматта көрді: (а) кестелер, (b) графикалық графиктер және (c) белгішелер кестесі. Біз үш негізгі қорытынды туралы баяндаймыз. Біріншіден, тұтынушылар үстелде ұсынылған кезде электр қуатын пайдалану туралы ақпараттың әр түрін түсінді, мүмкін кестелер жай қарап шығуды жеңілдетеді. Екіншіден, электр энергиясын үнемдеуге арналған артықшылықтар мен ниеттер форматқа тәуелсіз тарихи ақпаратты пайдалану үшін ең күшті болды. Үшіншіден, энергетикалық сауаттылық деңгейі төмен адамдар барлық ақпаратты аз түсінді. «
Басқа да зерттеулерден айырмашылығы, Canfield, Bruin, and Wong-Parodi (2016) қызығушылықтың негізгі нәтижесі нақты мінез-құлық емес, мінез-құлық туралы баяндалады. Энергияны үнемдеуді насихаттайтын кеңірек зерттеу бағдарламасында осы типтегі зерттеудің күшті және әлсіз жақтары қандай?
[ , ] Smith and Pell (2003) парашюттердің тиімділігін көрсететін зерттеулердің сатиралық мета-талдауын ұсынды. Олар:
«Денсаулығының алдын алу үшін көптеген шаралармен қатар, парашюттердің тиімділігі рандомизацияланған бақылаулы зерттеулерді қолдану арқылы қатаң бағалауға ұшырамаған. Дәлелді медицина адвокаттары тек байқаушы деректерді пайдалана отырып бағаланған араласуларды қабылдауды сынға алды. Дәлелді медицинадағы ең радикалды бас кейіпкерлер парашюттің екі есе соқыр, рандомизацияланған, плацебо-бақыланатын, кроссовердік сынақтарын ұйымдастырған және қатысқан жағдайда, бәрі де пайдалы болады деп ойлаймыз ».
« Нью-Йорк Таймс» секілді жалпыға бірдей оқырман газетіне жарамды жазыңыз, эксперименталды дәлелдерді фетишизациялауға қарсы. Нақты, нақты мысалдар келтіріңіз. Кеңес: Deaton (2010) және Bothwell et al. (2016) .
[ , , ] Емдеу әсерінің айырмашылықтары әр түрлі-орта бағалаушыларға қарағанда дәл болуы мүмкін. Онлайн-эксперимент жүргізу үшін айырмашылық-айырмашылықтар әдісінің мәнін түсіндіретін бастапқы әлеуметтік медиа-компанияда A / B тестілеуіне жауапты инженерге мемориал жазыңыз. Меморандумда проблема туралы мәлімдеме болуы керек, айырмашылықты бағалаудың айырмашылығы орташа арифметикадан асып түсетін жағдай туралы кейбір түйсігі және қарапайым имитациялық зерттеу.
[ , ] Гари Ловмэн Гарвард бизнес мектебінің профессоры болды, әлемдегі ірі казино компаниялардың бірі - Harrah's компаниясының бас директоры болғанға дейін. Лорд Харра ханымға көшкенде, компанияны клиенттің мінез-құлқы туралы үлкен деректер жинап, жиі-жалдаушы сияқты адалдық бағдарламасымен айналдырды. Бұл үнемі өлшеу жүйесінің үстіне компания тәжірибе жүргізе бастады. Мысалы, белгілі бір құмар ойын үлгісі бар клиенттер үшін тегін қонақ үй түніне арналған купонның тиімділігін бағалау үшін тәжірибе жүргізуі мүмкін. Лорманның Harrah-ның күнделікті іскери тәжірибесіне эксперименттің маңыздылығын қалай сипаттаған:
«Бұл сіз әйелдерге кедергі жасамаңыз, ұрлық жасамаңыз, сізде бақылау тобына ие боласыз. Бұл - сіз Харрахта жұмысыңызды жоғалтуға болатын нәрселердің бірі, бақылау тобын басқармайсыз « (Manzi 2012, 146) Manzi (Manzi 2012, 146)
Жаңа қызметкерге Лэскманның не себепті бақылау тобына ие болу керектігін түсіндіретін электрондық поштаны жазыңыз. Мақалаңызды көрсетуге тырысып көріңізші - нақты немесе жасалынған - сіздің ойыңызды көрсету үшін.
[ , ] Жаңа эксперимент вакцинациялауға арналған мәтіндік хабарламаларды еске салғыштардың әсерін бағалауға бағытталған. Қатысуға дайын 600 науқас бар жүз елу клиника. Сіз жұмыс істегіңіз келетін әрбір клиника үшін 100 доллар тұратын тіркелген шығындар бар және ол сіз жібергіңіз келетін әрбір мәтіндік хабар үшін $ 1 тұрады. Сонымен қатар, сіз жұмыс жасайтын кез келген клиникалар нәтижені (біреу біреудің егуін алғанын) өлшейді. Сізде 1000 доллар бюджет бар деп ойлаңыз.
[ , ] Интернеттегі курстарда үлкен проблема болып табылады. Көптеген студенттер курстан басталады. Сіз онлайн оқыту алаңында жұмыс істеп келе жатқаныңызды елестетіп көріңіз және платформаның дизайнері оқушылардың оқудан шығып кетуіне жол бермейтінін ескеретін визуалды даму жолын жасады. Оқу үрдісінің әсерін студенттердің үлкен әлеуметтік есептеу курсында сынағыңыз келеді. Тәжірибе барысында туындауы мүмкін этикалық мәселелерді шешкеннен кейін, сіз және сіздің әріптестеріңіз курстың жетістікке жету жолының әсерін сенімді түрде анықтауға жеткілікті студенттің болмауы мүмкін деп алаңдайды. Келесі есептерде студенттердің жартысы прогресс жолын алады, ал жартысы жоқ деп есептеуге болады. Сонымен қатар, ешқандай кедергі жоқ деп есептеуге болады. Басқаша айтқанда, қатысушыларды емделуді немесе бақылауды қабылдағанымен ғана әсер етеді деп санауға болады; олар басқа адамдар емделуге немесе бақылауға ие бола ма (неғұрлым ресми анықтау үшін, Gerber and Green (2012) 8-тарауын қараңыз). Сіз жасаған кез-келген қосымша болжамды қадағалаңыз.
[ , , ] Техникалық компанияда деректер ғалымы ретінде жұмыс істеп жатқаныңызды елестетіп көріңіз. Маркетинг бөлімшесінің біреуі жаңа онлайн-жарнамалық науқан үшін инвестициялардың кірістілігін (ROI) өлшеу үшін жоспарлап отырған тәжірибені бағалауға көмек сұрайды. ROI науқанның таза пайдасы ретінде науқанның өзіндік құнына бөлінеді. Мысалы, сатылымға әсер етпейтін науқан ROI -100% болады; пайда болатын шығындарға тең болатын науқан RO 0-ке тең болады; және пайда болған пайда екі есеге көбейген науқанның құны 200% ROI болады.
Тәжірибе басталардан бұрын, маркетинг бөлімі бұрынғы зерттеулеріне негізделген келесі ақпаратты ұсынады (шын мәнінде бұл мәндер Льюис пен Раодағы (2015) жарияланған нақты онлайн-жарнама науқандарына тән):
Ұсынылған экспериментті бағалайтын мемориал жазыңыз. Сіздің меморандум жасаған модельден дәлелдемелерді пайдалануы керек және ол екі негізгі мәселені шешуі керек: (1) Сіз бұл экспериментті жоспарланғандай бастауды ұсынарсыз ба? Егер солай болса, неге? Егер жоқ болса, неге жоқ? Осы шешімді қабылдау үшін қолданып отырған критерийлер туралы анық мәлімет алыңыз. (2) Сіз бұл экспериментке қандай үлгі өлшемін ұсынар едіңіз? Тағы да, осы шешімді қабылдау үшін қолданып отырған критерийлер туралы анық біліңіз.
Жақсы меморандум осы нақты істі қарастырады; жақсы меморандум осы жағдайда бір жолмен жалпыланады (мысалы, шешім шешім науқанның көлемінің функциясының қалай өзгеретінін көрсетіңіз); және тамаша мемуар толық жалпылама нәтиже береді. Сіздің мемуарыңыз нәтижелеріңізді көрсетуге көмектесу үшін графиктерді пайдалану керек.
Мұнда екі кеңестер бар. Біріншіден, маркетинг бөлімі сізді қажетсіз ақпараттармен қамтамасыз еткен болуы мүмкін және олар сізді қажетті ақпаратпен қамтамасыз ете алмаған болуы мүмкін. Екіншіден, егер сіз R функциясын пайдалансаңыз, rlnorm () функциясы көптеген адамдар күткендей жұмыс істемейтінін ескеріңіз.
Бұл әрекет сізге қуат талдауларымен, модельдеуді жасаумен және нәтижелеріңізді сөздер мен графиктермен байланыстырады. Ол ROI-ны бағалауға арналған эксперименттерді ғана емес, кез-келген эксперимент үшін қуат талдауларын өткізуге көмектесуі керек. Бұл қызмет сізде статистикалық тестілеу және қуат талдауларымен тәжірибе бар деп есептейді. Егер сізде қуат талдауларымен таныс болмасаңыз, Cohen (1992) «A Power Primer» деп оқығаныңызды ұсынамын.
Бұл іс-қимыл RA Lewis and Rao (2015) Тамаша қағазды шабыттандырды, ол тіпті жаппай эксперименттердің іргелі статистикалық шектеуін айқын көрсетеді. Бастапқыда «Жарнамаға қайтаруды өлшеудің мүмкін болмауы туралы» арандатушылық тақырыбы бар қағаз - миллиондаған клиенттерді қамтитын сандық эксперименттермен бірге онлайн жарнама инвестицияларын қайтарудың қаншалықты қиын екенін көрсетеді. Тұтастай алғанда, RA Lewis and Rao (2015) цифрлық жастағы эксперименттер үшін өте маңызды болып табылатын іргелі статистикалық фактіні суреттейді: шиеленісті нәтиже деректерінің арасында шағын емдеу әсерін бағалау қиын.
[ , ] Алдыңғы сұраққа ұқсас әрекет жасаңыз, бірақ модельдеу емес, аналитикалық нәтижелерді қолданыңыз.
[ , , ] Алдыңғы сұраққа ұқсас әрекет жасаңыз, бірақ модельдеу және аналитикалық нәтижелерді пайдаланыңыз.
[ , , ] Жоғарыда сипатталған жазбаны жазғаныңызды елестетіп көріңіз, ал маркетинг бөлімінің біреуі жаңа ақпараттың бір бөлігін береді: олар экспериментке дейін және кейін сату арасындағы 0,4 корреляцияны күтеді. Бұл сіздің меморандумдағы ұсыныстарды қалай өзгертеді? (Кеңес: 4.6.2 бөлімін қараңыз, айырмашылықты бағалау құралы және айырмашылық айырмашылықтары бағалары туралы.)
[ , ] Жаңа веб-негізделген жұмыспен қамту бағдарламасының тиімділігін бағалау үшін, университетте соңғы мектепке қабылданған 10 000 оқушы арасында рандомизацияланған бақылау сынағы өткізілді. Бірегей кіру ақпараты бар тегін жазылу 5000 кездейсоқ іріктелген студенттерге эксклюзивті электрондық пошта арқылы шақырылды, ал қалған 5000 оқушы бақылау тобына кірді және жазылым болмады. Он екі айдан кейін, кейінгі зерттеу (жауап бермеген) емделушілер мен бақылау топтарында да студенттердің 70% өз таңдаған салада күндізгі жұмыспен қамтамасыз етілгенін көрсетті (4.6-кесте). Осылайша, веб-негізделген қызметтің ешқандай әсері болмады.
Дегенмен, университеттегі ақылды деректер ғалымы деректерді біршама тығыз қарады және емделуші топтағы оқушылардың тек 20% электрондық поштаны алғаннан кейін есептік жазбаға кіргенін анықтады. Кейінірек, веб-сайтқа кіргендер арасында, таңқаларлықтай, 60% -ы тек таңдалған салада толық уақытты жұмыспен қамтамасыз ете алды, бұл адамдарға кірмеген және тарифтерден төмен адамдарға қарағанда төмен болды бақылау жағдайында (4.7-кесте).
Кеңес: Бұл сұрақ осы тарауда баяндалған материалдардан тыс, бірақ эксперименттерде жиі кездесетін мәселелерді шешеді. Тәжірибелік конструкцияның бұл түрі кейде ынталандыру дизайны деп аталады, себебі қатысушылар емделуге қатысуға шақырылады. Бұл проблема бір жақты сәйкессіздік деп аталатын нәрселердің мысалы болып табылады ( Gerber and Green (2012) 5-тарауын қараңыз Gerber and Green (2012) ).
[ ] Кейінгі зерттеулерден кейін, алдыңғы сұрақта сипатталған эксперимент одан да күрделеніп кеткен. Бақылау тобындағы адамдардың 10% -ы қызметтерге қолжетімділікке қол жеткізді және олар 65% жұмыспен қамтылды (4.8-кесте).
Кеңес: Бұл сұрақ осы тарауда баяндалған материалдардан тыс, бірақ эксперименттерде жиі кездесетін мәселелерді шешеді. Бұл мәселе екі жақты сәйкессіздік деп аталатын нәрселердің мысалы болып табылады ( Gerber and Green (2012) ).
Топ | Өлшемі | Жұмыспен қамту деңгейі |
---|---|---|
Веб-сайтқа кіру рұқсаты | 5000 | 70% |
Сайтқа кіруге рұқсат берілмеген | 5000 | 70% |
Топ | Өлшемі | Жұмыспен қамту деңгейі |
---|---|---|
Веб-сайтқа кіріп, жүйеге кірді | 1,000 | 60% |
Сайтқа кіруге рұқсат берілмеген және ешқашан тіркелмеген | 4000 | 72,5% |
Сайтқа кіруге рұқсат берілмеген | 5000 | 70% |
Топ | Өлшемі | Жұмыспен қамту деңгейі |
---|---|---|
Веб-сайтқа кіріп, жүйеге кірді | 1,000 | 60% |
Сайтқа кіруге рұқсат берілмеген және ешқашан тіркелмеген | 4000 | 72,5% |
Веб-сайтқа кіруге рұқсат берілмейді және оған ақы төленеді | 500 | 65% |
Сайтқа кіруге рұқсат берілмеді және оған төлем жасамады | 4,500 | 70.56% |