негізгі:
[ , ] Berinsky мен әріптестер (2012) үш классикалық эксперименттерді тарату арқылы ішінара Механикалық Turk бағалайды. Классикалық Азия ауру жиектелген эксперимент Replicate Tversky and Kahneman (1981) . Егер нәтижелер матч Tversky және Kahneman ның ба? Егер нәтижелер Berinsky және әріптестерін сәйкес келетін ба? Қандай-егер бір нәрсе-істемейді осы зерттеу эксперименттер үшін механикалық Turk пайдалану туралы бізге үйрету?
[ , ] Біраз тілі-ақ щеке қағаз әлеуметтік психолог Роберт Cialdini, авторларының бірі: «Біз, талқандау үшін бар» атты Schultz et al. (2007) , өйткені ол негізінен зертханалық эксперименттер жүргізеді, бұл пән (психология) өріс эксперименттер жүргізудің міндеттерінің бөлігінде, ол ерте профессор ретінде оның жұмыстан шығып қалуы болды деп жазған (Cialdini 2009) . Cialdini қағаз оқып, оған сандық эксперименттер мүмкіндіктерін ескере отырып, оның үзіліс дейін қайта оған шақырған электронды хат жазу. оның проблемаларын шешу зерттеудің нақты мысалдар пайдаланыңыз.
[ ], Шағын бастапқы табыстары-жылы құлыптау немесе жоғалып екендігін анықтау ван де Rijt және әріптестер үшін (2014) кездейсоқ таңдалған қатысушылардың табысқа наградаларды төрт түрлі жүйелеріне араласты, содан кейін осы еркін табысқа ұзақ мерзімді әсер өлшенген. Сіз ұқсас эксперименттер іске алатын басқа да жүйелерінің ойлауға болады? ғылыми құндылығы, алгоритмдік қате (2-тарауды қараңыз), және этика мәселелері тұрғысынан осы жүйелерді бағалайды.
[ , ] Эксперимент нәтижелері қатысушылар байланысты болады. эксперимент жасау, содан кейін екі түрлі рекрутингтік стратегияларын пайдаланып Amazon Механикалық Тюркпен (MTurk) оны іске қосыңыз. Нәтижелері мүмкіндігінше әр түрлі болады, сондықтан эксперимент және іріктеу стратегиясын таңдау үшін көріңіз. Мысалы, сіздің іріктеу стратегиясы таңертең және кешке қатысушыларды тартуға немесе жоғары және төмен еңбекақы қатысушыларды орнын толтыру үшін болуы мүмкін. іріктеу стратегиясын айырмашылықтарды Бұл түрлерін қатысушылар мен түрлі эксперименттік нәтижелерін әртүрлі пулдарға әкелуі мүмкін. Егер нәтижелер қалай түрлі не болды екен? бұл MTurk эксперименттер іске қосу туралы не білеміз?
[ , , , ] Егер сіз Эмоционалдық Contagion зерттеу жоспарлаған делік (Kramer, Guillory, and Hancock 2014) . Арқылы бұрын бақылау зерттеу нәтижелерін пайдалануға Kramer (2012) әрбір жағдайда қатысушылардың санын шешім қабылдауға. Бұл екі зерттеулер мінсіз сәйкес келмейді, сондықтан айқын, сіз жасауға барлық жорамалдарды Тізімге көз жеткізіңіз:
[ , , , ] Жоғарыда сұраққа жауап, бірақ гөрі бұрын бақылау зерттеу пайдаланып Kramer (2012) бойынша бұрын табиғи эксперимент нәтижелерін пайдалануға Coviello et al. (2014) .
[ ] Екі Rijt et al. (2014) және Margetts et al. (2011) де өтінішке қол қойған адамдардың процесін зерттеуге эксперименттер орындайды. Осы зерттеулердің нәтижелерін жобалау және салыстыру.
[ ] Dwyer, Maki, and Rothman (2015) әлеуметтік нормалар мен мінез-құлық proenvironmental арасындағы қарым-қатынас екі далалық эксперименттер жүргізді. Мұнда олардың қағаз аңдатпа:
«Қалай психологиялық ғылым proenvironmental мінез-ынталандыру пайдаланылуы мүмкін? Екі зерттеулерде, қоғамдық жуынатын энергия үнемдеу іс-әрекетін насихаттауға бағытталған іс-шаралар сипаттама нормалар мен жеке жауапкершілік әсеріне танысты. біреу бұл параметрі үшін сипаттама норманы сигнал, бір бос мемлекеттік ванна енгізілген бұрын зерттеу 1, жарық жағдайы (яғни, қосу немесе өшіру) айлалы еді. Қатысушылар, олардың кіргенде олар болған жағдайда жарықты өшіру үшін айтарлықтай неғұрлым ықтимал еді. Зерттеу 2 қосымша жағдайы жарық өшіру нормасы конфедерация арқылы көрсетілді, онда енгізілген, бірақ қатысушылар оны қосу үшін жауапты өздері емес болды. Жеке жауапкершілік мінез-құлық әлеуметтік нормалар ықпалын модераторы; қатысушылар жарық қосу үшін жауапты емес болған, норма әсері азайды болды. Бұл нәтижелер нормалар мен жеке жауапкершілік proenvironmental араласудың тиімділігін реттейтін қалай сипаттама көрсетеді. «
олардың қағазды оқу және зерттеу 1 қайталануының жобалау.
[ , ] Егер дизайнын жүзеге асыруға, қазір алдыңғы мәселе бойынша құру.
[ ] Amazon Механикалық Тюркпен жалданады қатысушыларды пайдаланып эксперимент туралы елеулі дебат болды. Сонымен қатар, сондай-ақ, бакалавриат студенті популяциялар жалданады қатысушыларды пайдаланып эксперимент туралы елеулі дебат болды. зерттеушілер қатысушылары ретінде Turkers және магистранттарды салыстыру және контрастын екі бетті меморандумға жазу. Сіздің салыстыру ғылыми және материалдық-техникалық, екі мәселелерді талқылау қамтуы тиіс.
[ ] Джим Манзи кітабы бақылаусыз (2012) бизнесте эксперименттер қуатына тамаша енгізу болып табылады. Кітапта ол осы әңгімені тасымалданады:
«Мен нағыз іскерлік кемеңгері, эксперименттер билік терең, интуитивті түсіністік болған өзін-өзі жасаған миллиардер кездесуге бір рет болды. Оның компаниясы дәстүрлі даналығы олар тиіс айтқандай, тұтынушылар мен артады сату тарту еді үлкен дүкен терезесі құруға тырысып айтарлықтай ресурстар жұмсады. мұқият жыл ішінде жобалау кейін, сондай-ақ жеке сынақ шолу сессияларына дизайнін сынақтан Сарапшылар сату бойынша әр жаңа дисплей дизайн ешқандай елеулі себептік әсерін көрсететін сақталады. Аға маркетинг және тауартану басшылары толығымен осы тарихи сынақ нәтижелерін қарастыру үшін бас атқарушы директоры кездесті. эксперименттік барлық деректерді ұсыну соң, олар дәстүрлі даналығы дұрыс-деп дисплейлер сату жүріп емес, терезесі деген тұжырым жасады. Олардың Ұсынылатын əрекет осы саладағы шығындарды қысқартуға күш және болды. Бұл күрт дәстүрлі даналық аударып эксперименттер қабілетін көрсетті. Бірінші басшының жауап қарапайым болды: «Менің қорытынды сіздің дизайнерлер өте жақсы емес болып табылады.» Оның шешімі дүкен дисплей дизайн күш арттыру үшін, сондай-ақ жаңа адам оны істеу алуға болатын «. (Manzi 2012, 158–9)
Бас директоры алаңдаушылық қолданылу қандай түріне жатады?
[ ] Егер алдыңғы сұраққа сүйене, сіз эксперименттердің нәтижелері талқыланды отырысында болды делік. Сіз сұрай алмады төрт сұрақтар, қолданылу әрбір түрі үшін бір (статистикалық, салу, ішкі және сыртқы) қандай?
[ ] Bernedo, Ferraro, and Price (2014) сипатталған суды үнемдеу араласу жеті жылдық әсерін зерттейді Ferraro, Miranda, and Price (2011) (суретті 4.10 қараңыз). Бұл мақалада, Bernedo мен әріптестер, сондай-ақ бар және емдеу жеткізілді кейін көшіп емес, үй шаруашылықтарының мінез-салыстыру арқылы әсер артта механизмін түсінуге ұмтылады. Яғни шамамен, олар емдеу үйге немесе иелеріне әсер етті ма көруге тырысамыз, болып табылады.
[ ] Үшін қорытындысы бойынша Schultz et al. (2007) , Шульц және әріптестер екі жағдайдың (қонақ үй және кондоминиум таймшера) қаласында әр түрлі экологиялық мінез-құлық (сүлгі қайта пайдалану) бойынша сипаттама және тыйымын нормаларын әсері үш тәжірибелер сериясы орындау (Schultz, Khazian, and Zaleski 2008) .
[ ] Жауап Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) электр заң жобаларын жобалау оқуға зертханалық сияқты тәжірибелер сериясы жүгірді. Мұнда олар реферат оны сипаттау әдісі:
«Сауалнама-негізделген эксперимент, әрбір қатысушы (а) тарихи пайдалану туралы ақпаратты қамтитын, салыстырмалы түрде жоғары электр энергиясы пайдалана отырып отбасы үшін гипотетикалық электр энергиясын заң жобасын көріп, көрші (б) салыстырулар, және құрылғы бөле отырып (с) тарихи пайдалану. Қатысушылар барлық (а) сызбаларды қоса үш форматтардың бірінде ақпарат түрлерін, (б) Гистограммаларда, және (с) белгішесі графиктер көрдім. Біз үш негізгі қорытындылар бойынша есеп. бұл кестеде келтірілген кезде Біріншіден, тұтынушылар үстелдер қарапайым нүктесі оқу жеңілдету мүмкін, себебі, ең электр энергиясын пайдалану туралы ақпаратты әрбір түрін түсінді. Екіншіден, преференциялар мен Электр қуатын үнемдеу үшін ниеті форматында тәуелсіз, тарихи пайдалану туралы ақпарат алу үшін мықты болды. Үшіншіден, аз энергия сауаттылық жеке тұлғалар аз барлық ақпаратты түсінді. «
Басқа кейінгі зерттеулер айырмашылығы қызығушылық басты қорытындысы Canfield, Bruin, and Wong-Parodi (2016) мінез-құлық емес нақты мінез-құлық хабарлады. энергия үнемдеуді насихаттау кеңірек зерттеу бағдарламасына зерттеу осы түріне күшті және әлсіз жақтарын қандай?
[ , ] Smith and Pell (2003) парашюттерді тиімділігін көрсететін зерттеулер сатиралық мета-анализ болып табылады. Олар жасасуға:
«Ауырып денсаулығын алдын алуға бағытталған көптеген араласу сияқты, парашюттерді тиімділігі Рандомизирленген бақылауға пайдалана отырып қатаң бағалау ұшыраған жоқ. дәлелді медицина қорғаушылар ғана бақылау деректерін пайдалана отырып, бағаланатын араласу қабылдауды сынға алды. Біз әрбір адамның дәлелді медицинаның ең радикалды жақтаушылары ұйымдастырылған болса пайдасын және екі жақты соқыр, кездейсоқ плацебо бақыланатын, парашютпен қиылысу талқылауға қатысқан мүмкін деп ойлаймын. «
Эксперименттік дәлелдемелер fetishization қарсы дауласып, мұндай New York Times-ақ жалпы оқырмандар газетінің үшін қолайлы ОР-Ed, жазу. нақты, бетон мысалдар келтіріңіз. Тұспал:, сондай-ақ, қараңыз Bothwell et al. (2016) және Deaton (2010)
[ , , ] Емдеу әсерін айырмашылық-ақ айырмашылықтарды бағалау айырмашылық-ақ орташа сметалық құжаттамасы артық дәл болуы мүмкін. онлайн эксперимент жүргізу үшін айырмашылық-ақ айырмашылықтарды тәсілді мәні түсіндіре старт-ап әлеуметтік медиа компанияның A / B тестілеу жауапты инженер үшін меморандумға жазу. Memo мәселенің мәлімдеме, айырмашылық-ақ айырма бағалау айырмашылық-ақ орташа бағалауды асып болады табылатын шарттар туралы кейбір түйсігі, және қарапайым модельдеу зерттеу қамтуы тиіс.
[ , ] Гэри LoveMan Harrah компаниясының бас директоры, әлемдегі ең ірі казино компаниялардың бірі болмас бұрын Гарвард бизнес мектебінің профессоры болды. Ол Harrah ның көшіп кезде, LoveMan тұтынушы мінез-құлық туралы деректердің үлкен сомасын жиналған жиі ұшқыш сияқты адалдық бағдарламасымен компанияны қайта. Осының үстіне өлшеу жүйесін әрдайым бойынша, компания эксперименттер жұмыс істеп бастады. Мысалы, олар белгілі бір құмар үлгісімен клиенттер үшін тегін қонақ түнде купон әсерін бағалауға эксперимент іске мүмкін. Мұнда LoveMan Harrah күнделікті тәжірибеде іскерлік тәжірибе маңыздылығын сипатталған әдісі:
«Ол сізге әйелдер мазалау емес, сияқты, сіз кіріп, ұрлап кетпейді, және сіз басқару тобын болуы алдым ғой. Бұл сіз басқару тобын іске қосу Harrah's-емес бойынша өз жұмысын жоғалтып алады заттардың бірі болып табылады. « (Manzi 2012, 146)
LoveMan ол бақылау тобы үшін маңызды деп санайды, сондықтан түсіндіріп жаңа қызметкерге электрондық пошта жазу. Сіз мысалды-, не нақты немесе-Сіздің проиллюстрировать жасалған қамтуы тырысу керек.
[ , ] Жаңа эксперимент егу сіңіру туралы мәтіндік хабар еске салғыштарды қабылдау әсерін бағалауға бағытталған. 150 емхана, 600 құқылы науқастардың әрбір, қатысуға дайын. Онда сіз жұмыс істегіңіз келетін әрбір клиника үшін 100 доллар тіркелген құны болып табылады, және ол сіз жібергіңіз келетін әрбір мәтіндік хабарға 1 доллар құны. Әрі қарай, сіз жұмыс істеп жатқан кез келген клиникалар тегін (біреу екпе алды ма) нәтижеге өлшеуге болады. Егер сіз 1000 доллар бюджеті бар делік.
[ , ] Онлайн курстар бар негізгі проблема болып табылады потертость; курстар басталады көптеген студенттер мектептен шығарылатын сайып. Егер Интернетте оқыту платформасында жұмыс істейді, және алаңында дизайнер ол әрине шығып қалу студенттер алдын алуға көмектеседі деп санайды көрнекі ілгерілеу жолағын құрды делік. Сіз үлкен есептеу қоғамтану барысында студенттердің орындау жолы әсерін тексеру үшін келеді. эксперимент туындауы мүмкін кез келген этикалық мәселелерді шешуде кейін, сізге, сіздің әріптестеріңіз Әрине сенімді орындалу жолағы әсерін анықтау үшін жеткілікті студенттер болмауы мүмкін екенін алаңдаушылық алуға. Сізге төменде есептеулерде студенттердің жартысы орындалу барысы жолағын алуға және жарым емес, болжауға болады. Әрі қарай, сіз ешқандай кедергілер бар екенін болжауға болады. Басқаша айтқанда, сіз қатысушылар ғана олар емдеу немесе бақылау алынған ма зардап шеккен деп болжауға болады; олар (қараңыз, неғұрлым ресми анықтау үшін, басқа адамдар емдеу немесе бақылауды алған ма жолымен жүзеге емес, Gerber and Green (2012) Ch. 8,). Егер сіз кез келген қосымша жорамалдар қадағалап сұраймыз.
[ , ] Сүйкімді қағаз, жылы Lewis and Rao (2015) айқын да жаппай эксперименттер іргелі статистикалық шектеу суреттейді. қағаз бастапқыда «Жарнама қайтарады өлшеу жуық мүмкін еместігі туралы» арандату атағы болған ол тіпті миллиондаған тұтынушылардың қатысуымен сандық эксперимент, онлайн жарнамалар қайтару инвестициялар өлшеу қаншалықты қиын -shows. Тұтастай алғанда, қағаз анық ол шулы нәтижесі деректер аясында шағын емдеу әсерін бағалауға қиын екенін көрсетеді. Немесе diffently мәлімдеді, қағаз импакт-үшін-стандартына-ауытқуы (\ (\ Frac {\ Delta \ штрих {у}} {\ Сигма} \)) қатынасы шағын кезде есептік емдеу әсерлер үлкен сенім аралықтарын болады деп көрсетеді. Бұл мақалада маңызды жалпы сабақ шағын импакт-үшін-стандартына-ауытқуы қатынасы (AD науқандардың мысалы, ROI) бар эксперименттер нәтижелері қанағаттанарлықсыз болады деп табылады. Сіздің міндет жарнама науқанының ROI өлшеу үшін жоспарлы эксперимент evaluting Сіздің компанияңыздың маркетингтік бөлімінің біреуге меморандумға жазуға болады. Сіздің Memo компьютерлік модельдеу нәтижелерін кестелерге қолдау керек.
Мұнда Сіз қажет болуы мүмкін кейбір анықтамалық ақпарат берілген. Осы сандық мәндері Барлық хабарлады нақты эксперименттер тән Lewis and Rao (2015) :
ROI, онлайн жарнама науқандарына негізгі метрикалық, науқанының құны бөлінген науқаны (науқанының науқаны минус құнынан жалпы пайда) таза пайда болуы үшін анықталады. Мысалы сату әсер еткен жоқ акциясы -100% -ға ROI еді және жинақталатын пайда шығындарды тең болды науқаны 0 тең ROI еді.
Тапсырыс берушінің бір орташа сату $ 75 стандартты ауытқуы $ 7.
науқаны тапсырыс берушінің бір $ 0,175 пайда артуына сәйкес келетін тапсырыс берушінің бір $ 0,35 сату өседі деп күтілуде. Басқаша айтқанда, жалпы маржа 50% құрайды.
эксперимент жоспарланған мөлшері бақылау тобында 200000 адам, емдеу тобында жартысы және жартылай болып табылады.
науқаны құны қатысушының бір $ 0,14 құрайды.
Осы эксперимент evaluting меморандумға жазу. жоспарланған ретінде сіз осы эксперимент ұшыру ұсыныс еді? Егер солай болса, неге? Егер жоқ болса, сіз қандай өзгерістер ұсынар едім?
Жақсы Memo осы нақты жағдайда шешуге мүмкіндік береді; жақсы Memo (импакт-үшін-стандартына-ауытқуы қатынасы функциясы ретінде қалай шешім өзгерістер көрсету, мысалы,) бір жолмен осы жағдайда қорытындылауға болады; және үлкен Memo толық жалпылама нәтижесін таныстырады.
[ , ] Егер сіз аналитикалық нәтижелерін пайдалану керек алдыңғы сұраққа бірдей, бірақ гөрі модельдеу орындаңыз.
[ , , ] Егер алдыңғы сұраққа бірдей ме, бірақ модельдеу және талдау нәтижелерін екеуін пайдаланыңыз.
[ , , ] Егер сіз модельдеу, талдау нәтижелері, немесе жоғарыда сипатталған пайдаланып меморандумға жазған екеуі-мен маркетинг бөлімінің біреу (бөлімді 4.6.2 қараңыз) айырмашылық-ақ айырмашылықтар бағалауды гөрі құралы бағалаудың айырмашылықты пайдалануды ұсынады делік . эксперимент кейін эксперимент бұрын сату және сату арасындағы 0,4 корреляция сіздің қорытынды өзгертуге еді қалай түсіндіре жаңа қысқа меморандумға жазу.
[ , ] Жаңа веб-негізделген Мансап қызметтер, университет мансап қызметтер кеңсесінің тиімділігін бағалау мақсатында мектеп соңғы курсында енгізу 10,000 студенттер арасында кездейсоқ бақылау сот процесі жүргізілді. басқа 5000 студент бақылау тобында болып табылады және жазылу жоқ, ал бірегей журналы-ақпарат бар еркін жазылу, кездейсоқ таңдалған студенттердің 5000 эксклюзивті электрондық пошта шақыруы арқылы жіберілді. Он екі ай өткен соң, (жоқ емес жауап бар) кейінгі зерттеу екеуі емдеу және бақылау топтарында, студенттердің 70% -ы өз таңдаған саласында (4.5-кесте) күндізгі жұмыспен қамту қамтамасыз еттік екенін көрсетеді. Осылайша, веб-негізделген қызмет әсер еткен жоқ, бұл, меніңше.
Алайда, университетінде ақылды деректер ғалым сәл астам тығыз деректер қарап және емдеу тобында студенттердің тек 20% соңды электрондық поштаны алғаннан кейін есептік жазбасына деп тапты. Әрі қарай, және бірнеше таңқаларлық, сайтта тек 60% теңдестіруден қатарындасыңдар кіру емес, адамдар үшін көрсеткіштен төмен және адамдар үшін ставка төмен болды, олардың таңдаған саласында, күндізгі жұмыспен қамту қамтамасыз болды бақылау жағдайы (кесте 4.6).
Мәлімет: Бұл мәселе осы тарауда қамтылған материал шеңберінен шықпайтын, бірақ эксперимент жалпы мәселелер қарастырылады. Қатысушылар емдеу айналысуға шақырды, өйткені тәжірибелі-конструкторлық бұл түрі кейде көтермелеу дизайнын деп аталады. Бұл проблема (қараңыз, бір жақты сақтамау деп аталатын үлгісі болып табылады Gerber and Green (2012) , Ч. 5)
[ ] Одан әрі тексеруден кейін, ол алдыңғы сұраққа сипатталған эксперимент одан да күрделі болды екен. Бұл қызметке қол жеткізу үшін төленген бақылау тобының адамдардың 10% шығады, және олар 65% (кесте 4.7) жұмыспен қамту ставкасы аяқталды.
Мәлімет: Бұл мәселе осы тарауда қамтылған материал шеңберінен шықпайтын, бірақ эксперимент жалпы мәселелер қарастырылады. Бұл проблема (қараңыз екі жақты сақтамау деп аталатын үлгісі болып табылады Gerber and Green (2012) , Ч. 6)
топ | Өлшем | Жұмыспен қамту деңгейі |
---|---|---|
веб-сайтында берілген қол | 5000 | 70% |
веб-сайтына рұқсат жоқ | 5000 | 70% |
топ | Өлшем | Жұмыспен қамту деңгейі |
---|---|---|
веб-сайтқа кіру мүмкіндігі беріліп және теңдестіруден | 1000 | 60% |
веб-сайтқа кіру мүмкіндігі беріліп және теңдестіруден ешқашан | 4000 | 85% |
веб-сайтына рұқсат жоқ | 5000 | 70% |
топ | Өлшем | Жұмыспен қамту деңгейі |
---|---|---|
веб-сайтқа кіру мүмкіндігі беріліп және теңдестіруден | 1000 | 60% |
веб-сайтқа кіру мүмкіндігі беріліп және теңдестіруден ешқашан | 4000 | 72,5% |
веб-сайтына рұқсат және оның ақшасын төлеген жоқ | 500 | 65% |
веб-сайтына рұқсат жоқ және оған ақы төлеуге емес, | 4500 | 70,56% |