Randomized eksperimente të kontrolluara kanë katër përbërës kryesorë: rekrutimi i pjesëmarrësve, randomization e trajtimit, ofrimit të trajtimit, dhe matjen e rezultateve.
Eksperimentet e kontrolluara të rastësishme kanë katër përbërës kryesorë: rekrutimin e pjesëmarrësve, randomizimin e trajtimit, dërgimin e trajtimit dhe matjen e rezultateve. Mosha dixhitale nuk ndryshon natyrën themelore të eksperimentimit, por e bën më të lehtë logjistikën. Për shembull, në të kaluarën, mund të kishte qenë e vështirë të matësh sjelljen e miliona njerëzve, por që tani po ndodh në mënyrë rutinore në shumë sisteme dixhitale. Hulumtuesit të cilët mund të kuptojnë se si t'i shfrytëzojnë këto mundësi të reja do të jenë në gjendje të bëjnë eksperimente që ishin më parë të pamundura.
Për ta bërë këtë të gjithë pak më konkret - si ajo që ka mbetur e njëjta dhe ajo që ka ndryshuar - le të shqyrtojmë një eksperiment nga Michael Restivo dhe Arnout van de Rijt (2012) . Ata donin të kuptonin efektin e shpërblimeve joformale të kolegëve në kontributet redaktuese në Wikipedia. Në veçanti, ata studiuan efektet e barnstars , një çmim që çdo Wikipedia mund t'i japë çdo Wikipedia tjetër për të pranuar punën e madhe dhe zellin e duhur. Restivo dhe van de Rijt dhanë barnstars për 100 Wikipedian që meritojnë. Më pas, ata gjetën kontributet e mëvonshme të marrësve në Wikipedia gjatë 90 ditëve të ardhshme. Shumë për habinë e tyre, njerëzit ndaj të cilëve u dhanë barnstars prireshin të bënin më pak redaktime pas marrjes së një. Me fjalë të tjera, barnstars duket të jetë dekurajues në vend që të inkurajojë kontributin.
Për fat të mirë, Restivo dhe van de Rijt nuk po drejtonin një "perturb dhe observo" eksperiment; ata po drejtonin një eksperiment të kontrolluar randomisht. Pra, përveç zgjedhjes së 100 kontribuesve të lartë për të marrë një barnstar, ata gjithashtu zgjodhën 100 kontribues të lartë për të cilët ata nuk i dhanë një. Këto 100 shërbyen si një grup kontrolli. Dhe, në mënyrë kritike, kush ishte në grupin e trajtimit dhe i cili ishte në grupin e kontrollit u përcaktua rastësisht.
Kur Restivo dhe van de Rijt vështronin sjelljen e njerëzve në grupin e kontrollit, ata gjetën se kontributet e tyre ishin gjithashtu në rënie. Më tej, kur Restivo dhe van de Rijt krahasuan njerëzit në grupin e trajtimit (p.sh., morën barnstars) tek njerëzit në grupin e kontrollit, ata gjetën se njerëzit në grupin e trajtimit kontribuan rreth 60% më shumë. Me fjalë të tjera, kontributet e të dy grupeve ishin të vdekur, por ato të grupit të kontrollit po bënin shumë më shpejt.
Siç ilustron ky studim, grupi i kontrollit në eksperimente është kritik në një mënyrë që është disi paradoksale. Në mënyrë që të masë efektin e barnstars, Restivo dhe van de Rijt nevojshme për të vëzhguar njerëzit që nuk kanë marrë barnstars. Shumë herë, hulumtuesit që nuk janë të njohur me eksperimentet dështojnë të vlerësojnë vlerën e pabesueshme të grupit të kontrollit. Nëse Restivo dhe van de Rijt nuk kishin një grup kontrolli, ata do të kishin tërhequr pikërisht përfundimin e gabuar. Grupet e kontrollit janë aq të rëndësishme sa që CEO i një kompanie të madhe kazermi ka thënë se ka vetëm tre mënyra që punonjësit mund të pushohen nga kompania e tij: për vjedhje, për ngacmime seksuale, ose për drejtimin e një eksperimenti pa një grup kontrolli (Schrage 2011) .
Studimi i Restivo dhe van de Rijt ilustron katër përbërësit kryesorë të një eksperimenti: rekrutimi, randomizimi, ndërhyrja dhe rezultatet. Së bashku, këto katër përbërës lejojnë shkencëtarët të lëvizin përtej korelacioneve dhe të matin efektin shkakësor të trajtimeve. Në mënyrë të veçantë, randomizimi do të thotë që njerëzit në grupet e trajtimit dhe kontrollit do të jenë të ngjashme. Kjo është e rëndësishme sepse do të thotë se çdo ndryshim në rezultatet mes dy grupeve mund t'i atribuohet trajtimit dhe jo një konfuzioni.
Përveç të qenit një ilustrim i bukur i mekanikës së eksperimenteve, studimi i Restivo dhe van de Rijt gjithashtu tregon se logjistika e eksperimenteve dixhitale mund të jetë krejtësisht e ndryshme nga ato të eksperimenteve analoge. Në eksperimentin e Restivo dhe van de Rijt, ishte e lehtë t'i jepte barnstar-it kujtdo dhe ishte e lehtë për të gjetur numrin e rezultateve - gjatë një periudhe të gjatë kohore (sepse historia e redaktimit regjistrohet automatikisht nga Wikipedia). Kjo aftësi për të ofruar trajtime dhe për të matur rezultatet pa kosto është cilësisht ndryshe nga eksperimentet në të kaluarën. Megjithëse ky eksperiment përfshiu 200 njerëz, mund të ketë qenë e drejtuar me 2.000 apo 20.000 njerëz. Gjëja kryesore që i pengonte hulumtuesit që të rrisnin eksperimentin e tyre me një faktor prej 100 nuk ishte kosto; ishte etika. Kjo është, Restivo dhe van de Rijt nuk duan të japin barnstars për redaktorët undeserving, dhe ata nuk duan eksperimentin e tyre të prishin komunitetin Wikipedia (Restivo and Rijt 2012, 2014) . Do të kthehem në disa nga konsideratat etike të ngritura nga eksperimentet më vonë në këtë kapitull dhe në kapitullin 6.
Në përfundim, eksperimenti i Restivo dhe van de Rijt tregon qartë se ndërsa logjika bazë e eksperimentimit nuk ka ndryshuar, logjistika e eksperimenteve të moshës digjitale mund të jetë shumë ndryshe. Më pas, për të izoluar më mirë mundësitë e krijuara nga këto ndryshime, unë do të krahasoj eksperimentet që hulumtuesit mund të bëjnë tani me llojet e eksperimenteve që janë bërë në të kaluarën.