4.2 Какие эксперименты?
Рандомизированные контролируемые эксперименты имеют четыре основных компонента: набор участников, рандомизации лечения, предоставления лечения, и измерение результатов.
Рандомизированные контролируемые эксперименты имеют четыре основных компонента: набор участников, рандомизация лечения, доставка лечения и измерение результатов. Цифровой век не меняет фундаментальной природы экспериментов, но облегчает его логистическую работу. Например, в прошлом, возможно, было трудно измерить поведение миллионов людей, но это сейчас обычно происходит во многих цифровых системах. Исследователи, которые могут понять, как использовать эти новые возможности, смогут проводить эксперименты, которые ранее были невозможны.
Чтобы сделать это все более конкретным - и то, что осталось тем же, и что изменилось - рассмотрим эксперимент Майкла Рестиво и Арнута ван де Рейта (2012) . Они хотели понять влияние неофициальных вознаграждений коллег на редакционные вклады в Википедию. В частности, они изучили влияние барнстаргов , награду, которую любой Википедия может дать любому другому Википедии, чтобы признать тяжелую работу и должную осмотрительность. Рестиво и ван-де-Рейт дали барнстарцам 100 достойных Википедии. Затем они отслеживали последующие вклады получателей в Википедию в течение следующих 90 дней. К их удивлению, люди, которым они награждали барнстаргов, как правило, делали меньше изменений после их получения. Другими словами, амбары, казалось, обескураживали, а не поощряли вклад.
К счастью, Рестиво и ван де Рийт не проводили эксперимент «возмущения и наблюдения»; они проводили рандомизированный контролируемый эксперимент. Таким образом, помимо выбора 100 лучших участников для получения барнстара, они также выбрали 100 лучших участников, которым они не дали. Эти 100 служили контрольной группой. И, критически, кто был в группе лечения и кто был в контрольной группе, был определен случайным образом.
Когда Рестиво и ван де Рейт смотрели на поведение людей в контрольной группе, они обнаружили, что их вклад также уменьшался. Кроме того, когда Restivo и van de Rijt сравнивали людей в группе лечения (т. Е. Получали амбар) у людей в контрольной группе, они обнаружили, что люди в группе лечения увеличили на 60% больше. Другими словами, взносы обеих групп были умершими, но те из контрольной группы делали это намного быстрее.
Как показывает это исследование, контрольная группа в экспериментах имеет решающее значение, что несколько парадоксально. Чтобы точно измерить влияние амбарных звезд, Рестиво и ван де Рейт нуждались в наблюдении за людьми, которые не получали барнстаров. Много раз исследователи, которые не знакомы с экспериментами, не понимают невероятную ценность контрольной группы. Если бы у Рестиво и ван-де-Рейта не было контрольной группы, они бы сделали неверный вывод. Контрольные группы настолько важны, что генеральный директор крупной компании казино сказал, что есть только три способа, которыми сотрудники могут быть уволены из его компании: за кражу, за сексуальные домогательства или за проведение эксперимента без контрольной группы (Schrage 2011) ,
Исследование Restivo и van de Rijt иллюстрирует четыре основных компонента эксперимента: набор, рандомизация, вмешательство и результаты. Вместе эти четыре компонента позволяют ученым преодолевать корреляции и определять причинный эффект лечения. В частности, рандомизация означает, что люди в группах лечения и контроля будут похожи. Это важно, потому что это означает, что любая разница в результатах между двумя группами может быть отнесена к лечению, а не к соучастнику.
В дополнение к тому, чтобы быть хорошей иллюстрацией механики экспериментов, исследование Restivo и van de Rijt также показывает, что логистика цифровых экспериментов может полностью отличаться от логики аналоговых экспериментов. В эксперименте Restivo и van de Rijt легко было дать барнстар кому-либо, и было легко отслеживать результат - количество изменений - в течение длительного периода времени (поскольку история изменений автоматически записывается Wikipedia). Эта способность доставлять лечение и оценивать результаты без каких-либо затрат качественно отличается от экспериментов в прошлом. Хотя в этом эксперименте участвовало 200 человек, его можно было запустить с 2000 или даже 20 000 человек. Главное, чтобы исследователи не увеличивали свой эксперимент в 100 раз, не стоили; это была этика. То есть, Restivo и van de Rijt не захотели давать barnstars незаслуженным редакторам, и они не хотели, чтобы их эксперимент нарушил сообщество Wikipedia (Restivo and Rijt 2012, 2014) . Я вернусь к некоторым этическим соображениям, поднятым экспериментами позже в этой главе и в главе 6.
В заключение, эксперимент Рестиво и ван де Рита ясно показывает, что в то время как основная логика экспериментов не изменилась, логистика экспериментов цифрового возраста может быть существенно иной. Затем, чтобы более четко выделить возможности, создаваемые этими изменениями, я сравню эксперименты, которые исследователи могут сделать теперь с помощью тех экспериментов, которые были сделаны в прошлом.
