4.5.4 Partner met de machtigen

Partnering kunnen kosten te verlagen en te verhogen schaal, maar het kan de soorten deelnemers, behandelingen te veranderen, en resultaten die u kunt gebruiken.

Het alternatief om het zelf te doen, is samenwerken met een krachtige organisatie zoals een bedrijf, overheid of NGO. Het voordeel van samenwerken met een partner is dat ze u in staat stellen om experimenten uit te voeren die u zelf niet kunt uitvoeren. Een van de experimenten die ik hieronder zal vertellen, betrof bijvoorbeeld 61 miljoen deelnemers - geen individuele onderzoeker kon die schaal bereiken. Op hetzelfde moment dat partnering verhoogt wat je kunt doen, beperkt het je ook. De meeste bedrijven staan ​​bijvoorbeeld niet toe dat u een experiment uitvoert dat hun bedrijf of reputatie zou kunnen schaden. Werken met partners betekent ook dat wanneer het tijd is om te publiceren, u mogelijk onder druk komt te staan ​​om uw resultaten opnieuw in te delen, en sommige partners proberen zelfs de publicatie van uw werk te blokkeren als ze er slecht uitzien. Tot slot wordt partnering ook geleverd met kosten die verband houden met het ontwikkelen en onderhouden van deze samenwerkingen.

De kernuitdaging die moet worden opgelost om deze partnerschappen succesvol te maken, is het vinden van een manier om de belangen van beide partijen in balans te brengen. Een handige manier om over dat evenwicht na te denken is Pasteur's Quadrant (Stokes 1997) . Veel onderzoekers denken dat als ze aan iets praktisch werken - iets dat van belang kan zijn voor een partner - ze geen echte wetenschap kunnen doen. Deze mindset maakt het erg moeilijk om succesvolle partnerschappen te creëren, en het is ook helemaal verkeerd. Het probleem met deze manier van denken wordt prachtig geïllustreerd door het baanbrekende onderzoek van bioloog Louis Pasteur. Terwijl hij aan een commercieel fermentatieproject werkte om bietensap in alcohol te verwerken, ontdekte Pasteur een nieuwe klasse van micro-organismen die uiteindelijk leidde tot de kiemtheorie van de ziekte. Deze ontdekking loste een heel praktisch probleem op - het hielp het fermentatieproces verbeteren - en het leidde tot een grote wetenschappelijke vooruitgang. Dus in plaats van te denken aan onderzoek met praktische toepassingen als in strijd met echt wetenschappelijk onderzoek, is het beter om deze als twee afzonderlijke dimensies te beschouwen. Onderzoek kan worden gemotiveerd door gebruik (of niet), en onderzoek kan fundamenteel begrip zoeken (of niet). Kritiek is dat sommige onderzoek-achtige Pasteur's kunnen worden gemotiveerd door het gebruik en het zoeken naar fundamenteel begrip (figuur 4.17). Onderzoek in het Quadrant-onderzoek van Pasteur dat inherent twee doelen beoogt, is ideaal voor samenwerking tussen onderzoekers en partners. Met die achtergrond beschrijf ik twee experimentele studies met partnerschappen: een met een bedrijf en een met een NGO.

Figuur 4.17: Pasteur's Quadrant (Stokes 1997) . In plaats van te denken dat onderzoek "fundamenteel" of "toegepast" is, is het beter om het te zien als gemotiveerd door het gebruik (of niet) en het zoeken naar fundamenteel begrip (of niet). Een voorbeeld van onderzoek dat zowel gemotiveerd is door gebruik als fundamenteel begrip zoekt, is het werk van Pasteur om bietensap om te zetten in alcohol die leidt tot de kiemtheorie van de ziekte. Dit is het soort werk dat het best geschikt is voor partnerschappen met de machtigen. Voorbeelden van werk dat gemotiveerd is door gebruik maar dat geen fundamenteel begrip nastreeft, komen van Thomas Edison, en voorbeelden van werk dat niet gemotiveerd is door gebruik maar dat begrip tracht te verkrijgen, komt van Niels Bohr. Zie Stokes (1997) voor een grondiger bespreking van dit kader en elk van deze gevallen. Aangepast van Stokes (1997) , figuur 3.5.

Grote bedrijven, met name technische bedrijven, hebben een ongelooflijk geavanceerde infrastructuur ontwikkeld voor het uitvoeren van complexe experimenten. In de techindustrie worden deze experimenten vaak A / B-tests genoemd omdat ze de effectiviteit van twee behandelingen vergelijken: A en B. Dergelijke experimenten worden vaak uitgevoerd voor zaken als het verhogen van de klikfrequenties op advertenties, maar dezelfde experimentele infrastructuur kan ook worden gebruikt voor onderzoek dat wetenschappelijk begrip bevordert. Een voorbeeld dat het potentieel van dit soort onderzoek illustreert, is een onderzoek dat is uitgevoerd door een samenwerking tussen onderzoekers van Facebook en de Universiteit van Californië, San Diego, over de effecten van verschillende berichten op de opkomst van de kiezer (Bond et al. 2012) .

Op 2 november 2010 - de dag van de Amerikaanse congresverkiezingen - namen alle 61 miljoen Facebook-gebruikers die in de Verenigde Staten woonden en 18 jaar en ouder waren deel aan een experiment over stemmen. Bij het bezoeken van Facebook werden gebruikers willekeurig ingedeeld in een van de drie groepen, die bepaalden welke banner (indien aanwezig) bovenaan hun nieuwsfeed werd geplaatst (figuur 4.18):

• een controlegroep
• een informatieve boodschap over stemmen met een klikbare knop "Ik stemde" en een teller (Info)
• een informatief bericht over stemmen met een klikbare knop 'Ik stemde' en een teller plus namen en foto's van hun vrienden die al op 'Ik stemde' klikte (Info + Sociaal)

Bond en collega's bestudeerden twee belangrijke uitkomsten: gerapporteerd stemgedrag en feitelijk stemgedrag. Ten eerste ontdekten ze dat mensen in de Info + sociale groep ongeveer twee procentpunten meer kans hadden dan mensen in de infogroep om te klikken op "I Voted" (ongeveer 20% versus 18%). Verder, nadat de onderzoekers hun gegevens hadden samengevoegd met openbaar beschikbare stemregisters voor ongeveer zes miljoen mensen, ontdekten ze dat mensen in de Info + Sociale groep 0,39 procentpunten meer kans hadden om daadwerkelijk te stemmen dan die in de controlegroep en dat mensen in de Info-groep waren net zo waarschijnlijk om te stemmen als die in de controlegroep (figuur 4.18).

Figuur 4.18: Resultaten van een experiment om de stemming op Facebook te beëindigen (Bond et al. 2012) . Deelnemers in de Infogroep stemden in hetzelfde tempo als die in de controlegroep, maar mensen in de Info + Sociale groep stemden iets sneller. Staven vertegenwoordigen geschatte betrouwbaarheidsintervallen van 95%. De resultaten in de grafiek zijn voor de ongeveer zes miljoen deelnemers die zijn gekoppeld aan stemgegevens. Aangepast door Bond et al. (2012) , figuur 1.

De resultaten van dit experiment laten zien dat sommige online stemmen om te gaan stemmen effectiever zijn dan andere en dat de schatting van een onderzoeker van de effectiviteit kan afhangen van het feit of de uitkomst melding is van stemmen of daadwerkelijk stemmen. Dit experiment biedt helaas geen aanwijzingen over de mechanismen waardoor de sociale informatie - die sommige onderzoekers op een speelse manier een 'face-pile' hebben genoemd - het stemmen verhoogt. Het kan zijn dat de sociale informatie de kans vergroot dat iemand de banner zag of dat de kans toenam dat iemand die de banner zag, daadwerkelijk heeft gestemd of beide. Dit experiment biedt dus een interessante bevinding dat andere onderzoekers waarschijnlijk zullen onderzoeken (zie bijvoorbeeld Bakshy, Eckles, et al. (2012) ).

Naast het bevorderen van de doelen van de onderzoekers, heeft dit experiment ook het doel van de partnerorganisatie (Facebook) bevorderd. Als u het onderzochte gedrag van stemmen naar kopen van zeep verandert, kunt u zien dat de studie exact dezelfde structuur heeft als een experiment om het effect van online advertenties te meten (zie bijvoorbeeld RA Lewis and Rao (2015) ). Deze advertentie-effectiviteitsstudies meten vaak het effect van blootstelling aan online advertenties: de behandelingen in Bond et al. (2012) zijn in feite advertenties voor offline gedrag waarop je kunt stemmen. Dit onderzoek zou het vermogen van Facebook om de effectiviteit van online advertenties te bestuderen, kunnen bevorderen en zou Facebook kunnen helpen potentiële adverteerders ervan te overtuigen dat Facebook-advertenties effectief zijn in het veranderen van gedrag.

Hoewel de belangen van de onderzoekers en partners grotendeels op elkaar waren afgestemd in deze studie, waren ze ook gedeeltelijk gespannen. Met name de toewijzing van deelnemers aan de drie groepen-controle, Info en Info + Sociaal-was enorm uit balans: 98% van de steekproef was toegewezen aan Info + Sociaal. Deze onevenwichtige toewijzing is statistisch inefficiënt en een veel betere toewijzing voor de onderzoekers zou een derde van de deelnemers in elke groep hebben gehad. Maar de onevenwichtige toewijzing gebeurde omdat Facebook iedereen wilde laten genieten van de Info + Sociale behandeling. Gelukkig hebben de onderzoekers hen overtuigd om 1% voor een gerelateerde behandeling en 1% van de deelnemers voor een controlegroep tegen te houden. Zonder de controlegroep was het in principe onmogelijk om het effect van de Info + Sociale behandeling te meten, omdat het eerder een "perturb and observe" -experiment was dan een gerandomiseerd gecontroleerd experiment. Dit voorbeeld biedt een waardevolle praktische les voor het werken met partners: soms maak je een experiment door iemand te overtuigen om een ​​behandeling uit te voeren en soms maak je een experiment door iemand te overtuigen geen behandeling uit te voeren (dwz om een ​​controlegroep te maken).

Partnerschap hoeft niet altijd technische bedrijven en A / B-tests te betrekken bij miljoenen deelnemers. Alexander Coppock, Andrew Guess en John Ternovski (2016) werkten bijvoorbeeld samen met een milieu-NGO - de League of Conservation Voters - om experimenten uit te voeren waarbij verschillende strategieën werden getest om sociale mobilisatie te bevorderen. De onderzoekers gebruikten het Twitter-account van de NGO om zowel openbare tweets als privé-berichten uit te zenden die probeerden verschillende soorten identiteiten te primen. Vervolgens maten ze welke van deze berichten het meest effectief waren om mensen aan te moedigen een petitie te ondertekenen en informatie over een petitie te retweeten.

Over het algemeen stelt samenwerking met de machtigen u in staat om op een schaal te werken die anders moeilijk te doen is, en tabel 4.3 geeft andere voorbeelden van partnerschappen tussen onderzoekers en organisaties. Partnering kan veel eenvoudiger zijn dan het bouwen van je eigen experiment. Maar deze voordelen hebben nadelen: partnerschappen kunnen de soorten deelnemers, behandelingen en resultaten beperken die u kunt bestuderen. Verder kunnen deze partnerschappen leiden tot ethische uitdagingen. De beste manier om een ​​mogelijkheid voor een partnerschap te ontdekken, is door een echt probleem op te merken dat je kunt oplossen terwijl je interessante wetenschap aan het doen bent. Als je deze manier van kijken naar de wereld niet gewend bent, kan het moeilijk zijn om problemen in Pasteur's Quadrant te ontdekken, maar met de praktijk zul je ze steeds meer opmerken.