4.2 Какие эксперименты?

Рандомизированные контролируемые эксперименты имеют четыре основных компонента: набор участников, рандомизации лечения, предоставления лечения, и измерение результатов.

Рандомизированные контролируемые эксперименты могут принимать различные формы и могут быть использованы для изучения многих типов поведения. Но, по сути своей, рандомизированные контролируемые эксперименты имеют четыре основных компонента: набор участников, рандомизации лечения, предоставления лечения, и измерение результатов. Цифровой век не меняет фундаментальный характер экспериментирования, но он делает их легче логистически. Например, в прошлом это, возможно, было трудно измерить поведение миллионов людей, но которые в настоящее время обычно происходит во многих цифровых системах. Исследователи, которые могут понять, как использовать эти новые возможности будут иметь возможность проводить эксперименты, которые были невозможны ранее.

Для того, чтобы все это немного более конкретно-как то , что осталось прежним и что изменилось-давайте рассмотрим Майкла Restivo и Arnout ван де Rijt - х (2012) . Исследователи хотели понять влияние неформальных сверстников вознаграждения по редакционным взносов в Википедии. В частности, они изучали эффекты barnstars, награду , что любой Wikipedian может дать любому другому Wikipedian признать тяжелую работу и должной осмотрительности. Restivo и ван де Rijt дал barnstars до 100 достойных Wikipedians. Затем Restivo и ван де Rijt отслеживаться последующие взносы получателей в Википедии в течение следующих 90 дней. К их удивлению, люди , к которым они награждены barnstars , как правило, делают меньше изменений после приема одного. Другими словами, barnstars казался обескураживающим, а не поощрения вклада.

К счастью, Restivo и ван де Rijt не работает эксперимент "возмущают и наблюдать"; они работали рандомизированное контролируемое эксперимент. Таким образом, в дополнение к выбору 100 лучших вкладчиков получить barnstar, они также выбрали 100 лучших вкладчиков, которым они не давали barnstar. Эти сто служили в качестве контрольной группы, и кто получил barnstar и который не был определен случайным образом. Когда Restivo и ван де Rijt посмотрел на контрольной группе они обнаружили, что у нее резкое снижение взносов тоже. Наконец, когда исследователи сравнили людей в группе лечения (то есть, получили barnstars) и людей в контрольной группе, они обнаружили, что barnstar вызвали редакторы внести около 60% больше. Но это увеличение вклада происходило в рамках общего снижения в обеих группах.

Как это исследование показывает, контрольная группа в экспериментах имеет решающее значение в пути, который является несколько парадоксальным. Для того, чтобы точно измерить эффект barnstars, Restivo и ван-дер-Rijt нужно было наблюдать за людьми, которые не получали barnstars. Много раз исследователи, которые не знакомы с экспериментами, не в состоянии оценить невероятную ценность контрольной группы. Если Restivo и ван де Rijt не было контрольной группы, то они бы точно обращено неправильный вывод. Контрольные группы настолько важны , что генеральный директор крупной компании казино сказал , что есть только три способа , которыми сотрудники могут быть уволены из своей компании: воровство, сексуальные домогательства, и проведению эксперимента без контрольной группы (Schrage 2011) .

Исследование Restivo и ван де Rijt иллюстрирует четыре основных компонента эксперимента: набор, рандомизации, вмешательства и исходы. Вместе эти четыре компонента позволяют ученым выйти за пределы корреляций и измерить причинно-следственную связь процедур. В частности, рандомизация означает, что когда вы сравните результаты для лечения и контрольной групп вы получаете оценку причинной эффект этого вмешательства для этого набора участников. Другими словами, с помощью рандомизированного контролируемого эксперимента вы можете быть уверены , что любые различия в результатах вызваны вмешательством , а не confounder, требование , что я делаю точным в техническом приложении с использованием структуры потенциальных результатов.

Помимо того, что хорошая иллюстрация механики экспериментов, исследования Restivo и ван де Rijt также показывает, что материально-техническое обеспечение цифровых экспериментов может быть полностью отличается от аналоговых экспериментов. В Restivo и эксперимент ван де Rijt, это было легко дать barnstar никому в мире, и это было легко отслеживать результаты-число правок-в течение длительного периода времени (потому что история редактирования автоматически записываются Wikipedia). Эта способность доставить лечения и оценки результатов без каких - либо затрат качественно в отличие от экспериментов в прошлом. Хотя этот эксперимент включал 200 человек, это можно было работать с 2000 или 20000 человек. Главное, предотвращая исследователей расширять их эксперимент в 100 раз не стоит, это этика. То есть, Restivo и ван де Rijt не хотел давать barnstars в недостойных редакторов , и они не хотят , чтобы их эксперимент , чтобы разрушить сообщество Википедии (Restivo and Rijt 2012; Restivo and Rijt 2014) . Таким образом, хотя эксперимент Restivo и ван де Rijt является относительно простым, это ясно показывает, что некоторые вещи, о опытах остались прежними, а некоторые из них изменились. В частности, основная логика экспериментов то же самое, но логистики изменились. Далее, для того, чтобы более четко выделить возможности, создаваемые этим изменением, я буду сравнивать эксперименты, которые исследователи могут сделать теперь к видам экспериментов, которые были сделаны в прошлом.