4.2 Які експерименти?

Рандомізовані контрольовані експерименти мають чотири основні компоненти: набір учасників, рандомізації лікування, надання лікування, і вимір результатів.

Рандомізовані контрольовані експерименти можуть приймати різні форми і можуть бути використані для вивчення багатьох типів поведінки. Але, по суті своїй, рандомізовані контрольовані експерименти мають чотири основні компоненти: набір учасників, рандомізації лікування, надання лікування, і вимір результатів. Цифровий вік не змінюють основний характер експериментування, але він робить їх легше логістично. Наприклад, в минулому це, можливо, було важко виміряти поведінку мільйонів людей, але які в даний час зазвичай відбувається в багатьох цифрових системах. Дослідники, які можуть зрозуміти, як використовувати ці нові можливості матимуть можливість проводити експерименти, які були неможливі раніше.

Для того, щоб все це трохи більш конкретно-як то , що залишилося колишнім і що змінилося-давайте розглянемо Майкла Restivo і Arnout ван де Rijt - х (2012) . Дослідники хотіли зрозуміти вплив неформальних однолітків винагороди за редакційними внесків у Вікіпедії. Зокрема, вони вивчали ефекти barnstars, нагороду , що будь-який Wikipedian може дати будь-якій іншій Wikipedian визнати важку роботу і належної обачності. Restivo і ван де Rijt дав barnstars до 100 гідних Wikipedians. Потім Restivo і ван де Rijt відслідковуватися наступні внески одержувачів в Вікіпедії протягом наступних 90 днів. На їхнє здивування, люди , до яких вони нагороджені barnstars , як правило, роблять менше змін після прийому одного. Іншими словами, barnstars здавався бентежить, а не заохочення вкладу.

На щастя, Restivo і ван де Rijt не працює експеримент "обурюють і спостерігати"; вони працювали рандомізоване контрольоване експеримент. Таким чином, на додаток до вибору 100 кращих вкладників отримати barnstar, вони також вибрали 100 кращих вкладників, яким вони не давали barnstar. Ці сто служили в якості контрольної групи, і хто отримав barnstar і який не був визначений випадковим чином. Коли Restivo і ван де Rijt подивився на контрольній групі вони виявили, що у неї різке зниження внесків теж. Нарешті, коли дослідники порівняли людей в групі лікування (тобто, отримали barnstars) і людей в контрольній групі, вони виявили, що barnstar викликали редактори внести близько 60% більше. Але це збільшення вкладу відбувалося в рамках загального зниження в обох групах.

Як це дослідження показує, контрольна група в експериментах має вирішальне значення в шляху, який є трохи парадоксальним. Для того, щоб точно виміряти ефект barnstars, Restivo і ван-дер-Rijt потрібно було спостерігати за людьми, які не отримували barnstars. Багато разів дослідники, які не знайомі з експериментами, не в змозі оцінити неймовірну цінність контрольної групи. Якщо Restivo і ван де Rijt не було контрольної групи, то вони б точно звернуто неправильний висновок. Контрольні групи настільки важливі , що генеральний директор великої компанії казино сказав , що є тільки три способи , якими співробітники можуть бути звільнені зі своєї компанії: злодійство, сексуальні домагання, і проведення експерименту без контрольної групи (Schrage 2011) .

Дослідження Restivo і ван де Rijt ілюструє чотири основні компоненти експерименту: набір, рандомізації, втручання та наслідки. Разом ці чотири компоненти дозволяють вченим вийти за межі кореляцій і виміряти причинно-наслідковий зв'язок процедур. Зокрема, рандомизация означає, що коли ви порівняєте результати для лікування та контрольної груп ви отримуєте оцінку причинного ефект цього втручання для цього набору учасників. Іншими словами, за допомогою рандомізованого контрольованого експерименту ви можете бути впевнені , що будь-які відмінності в результатах викликані втручанням , а не confounder, вимога , що я роблю точним в технічному додатку з використанням структури потенційних результатів.

Крім того, що хороша ілюстрація механіки експериментів, дослідження Restivo і ван де Rijt також показує, що матеріально-технічне забезпечення цифрових експериментів може бути повністю відрізняється від аналогових експериментів. У Restivo і експеримент ван де Rijt, це було легко дати barnstar нікому в світі, і це було легко відстежувати результати-число правок-протягом тривалого періоду часу (тому що історія редагування автоматично записуються Wikipedia). Ця здатність доставити лікування і оцінки результатів без будь - яких витрат якісно в відміну від експериментів в минулому. Хоча цей експеримент включав 200 осіб, це можна було працювати з 2000 або 20000 чоловік. Головне, запобігаючи дослідників розширювати їх експеримент в 100 раз не варто, це етика. Тобто, Restivo і ван де Rijt не хотів давати barnstars в недостойних редакторів , і вони не хочуть , щоб їх експеримент , щоб зруйнувати співтовариство Вікіпедії (Restivo and Rijt 2012; Restivo and Rijt 2014) . Таким чином, хоча експеримент Restivo і ван де Rijt є відносно простим, це ясно показує, що деякі речі, про дослідах залишилися колишніми, а деякі з них змінилися. Зокрема, основна логіка експериментів те ж саме, але логістики змінилися. Далі, для того, щоб більш чітко виділити можливості, створювані цією зміною, я буду порівнювати експерименти, які дослідники можуть зробити тепер до видів експериментів, які були зроблені в минулому.