4.5.4 med de mäktiga

Partnering kan minska kostnaderna och öka skalan, men det kan ändra vilka typer av deltagare, behandlingar och resultat som du kan använda.

Alternativet till att göra det själv är att samarbeta med en stark organisation som ett företag, en regering eller en icke-statlig organisation. Fördelen med att arbeta med en partner är att de kan ge dig möjlighet att köra experiment som du inte bara kan göra själv. Till exempel, ett av de experiment som jag ska berätta om nedan berörde 61 miljoner deltagare - ingen enskild forskare skulle kunna uppnå denna skala. Samtidigt ökar samarbetet vad du kan göra, det begränsar dig också. Till exempel tillåter de flesta företag inte att du kör ett experiment som kan skada deras affärer eller deras rykte. Att arbeta med partners innebär också att när det är dags att publicera, kan du komma under press för att "omrama" dina resultat, och vissa partners kan till och med försöka blockera publiceringen av ditt arbete om det gör dem dåliga. Slutligen kommer partnerskap också med kostnader för att utveckla och upprätthålla dessa samarbeten.

Kärnutmaningen som måste lösas för att lyckas med dessa partnerskap är att hitta ett sätt att balansera båda parternas intressen, och ett bra sätt att tänka på balansen är Pasteurs kvadrant (Stokes 1997) . Många forskare tror att om de jobbar på något praktiskt - något som kan vara av intresse för en partner - då kan de inte göra riktig vetenskap. Denna inställning gör det mycket svårt att skapa framgångsrika partnerskap, och det råkar också vara helt fel. Problemet med detta sätt att tänka är underbart illustrerat av biologen Louis Pasteurs banbrytande forskning. Samtidigt som han arbetade på ett kommersiellt jäsningsprojekt för att omvandla betsjuice till alkohol, upptäckte Pasteur en ny klass av mikroorganismer som så småningom ledde till bakterieteori om sjukdom. Denna upptäckt löste ett mycket praktiskt problem - det bidrog till att förbättra fermentationsprocessen - och det ledde till ett stort vetenskapligt framsteg. Således, snarare än att tänka på forskning med praktiska tillämpningar som att strida mot sann vetenskaplig forskning, är det bättre att tänka på dessa som två separata dimensioner. Forskning kan motiveras genom användning (eller inte), och forskning kan söka grundläggande förståelse (eller inte). Kritiskt kan vissa forskningsliknande Pasteur-motiveras genom användning och söka grundläggande förståelse (figur 4.17). Forskning i Pasteurs kvadrant-forskning som i sig utvecklar två mål - är idealisk för samarbete mellan forskare och partners. Med tanke på den bakgrunden ska jag beskriva två experimentella studier med partnerskap: en med ett företag och en med en icke-statlig organisation.

Figur 4.17: Pasteurs kvadrant (Stokes 1997) . I stället för att tänka på forskning som antingen "grundläggande" eller "tillämpad", är det bättre att tänka på det som motiverat med användning (eller inte) och söker grundläggande förståelse (eller inte). Ett exempel på forskning som både motiveras av användning och söker grundläggande förståelse är Pasteurs arbete med att omvandla sockerbetorjuice till alkohol som leder till bakterieteori om sjukdom. Det här är den typ av arbete som passar bäst för partnerskap med de mäktiga. Exempel på arbete som motiveras av användningen, men som inte söker grundläggande förståelse kommer från Thomas Edison, och exempel på arbete som inte motiveras av användningen, men som söker förståelse kommer från Niels Bohr. Se Stokes (1997) för en mer ingående diskussion om denna ram och var och en av dessa fall. Anpassad från Stokes (1997) , figur 3.5.

Stora företag, särskilt teknikföretag, har utvecklat oerhört sofistikerad infrastruktur för att driva komplexa experiment. I teknikindustrin kallas dessa experiment ofta A / B-test eftersom de jämför effektiviteten hos två behandlingar: A och B. Sådana experiment körs ofta för saker som ökande klickfrekvenser på annonser, men samma experimentella infrastruktur kan också användas för forskning som främjar vetenskaplig förståelse. Ett exempel som illustrerar potentialen för denna typ av forskning är en studie som genomförs av ett partnerskap mellan forskare på Facebook och University of California, San Diego, om effekterna av olika meddelanden om valdeltagandet (Bond et al. 2012) .

Den 2 november 2010-dagen för det amerikanska kongressvalet - alla 61 miljoner Facebook-användare som bodde i USA och var 18 år och äldre deltog i ett experiment om omröstning. Vid besök på Facebook användes slumpmässigt till en av tre grupper som bestämde vilken banner (om någon) placerades högst upp i sitt nyhetsflöde (figur 4.18):

• en kontrollgrupp
• ett informationsmeddelande om att rösta med en klickbar "I Voted" -knapp och en räknare (Info)
• ett informativt meddelande om att rösta med en klickbar "I Voted" -knapp och en räknare plus namn och bilder av sina vänner som redan hade klickat på "Jag röstade" (Info + Social)

Bond och kollegor studerade två huvudresultat: rapporterat röstbeteende och faktiskt röstbeteende. Först fann de att personer i Info + Sociala gruppen var ungefär två procentenheter mer sannolika än personer i Info-gruppen för att klicka på "Jag röstade" (cirka 20% mot 18%). Efter att forskarna slog samman sina uppgifter med offentligt tillgängliga röstberättelser för cirka sex miljoner personer fann de att personer i Info + Sociala gruppen var 0,39 procentenheter mer benägna att faktiskt rösta än de i kontrollgruppen och att personer i Info-gruppen var lika sannolikt att rösta som i kontrollgruppen (figur 4.18).

Figur 4.18: Resultat från ett utkörningsexperiment på Facebook (Bond et al. 2012) . Deltagarna i Info-gruppen röstade i samma takt som i kontrollgruppen, men personer i Info + Socialgruppen röstade med en något högre ränta. Barer representerar beräknade 95% konfidensintervaller. Resultatet i diagrammet är för de cirka sex miljoner deltagarna som matchades med röstningsrekord. Anpassad från Bond et al. (2012) , figur 1.

Resultaten av det här experimentet visar att vissa meddelanden om online-utgående röst är effektivare än andra och att en forskares uppskattning av effektiviteten kan bero på huruvida resultatet rapporteras rösträtt eller faktisk röstning. Det här experimentet erbjuder tyvärr inte några ledtrådar om de mekanismer genom vilka den sociala informationen, som vissa forskare lekfullt har kallat en "ansiktspile" ökad röstning. Det kan vara så att den sociala informationen ökade sannolikheten för att någon märkte bannern eller att det ökade sannolikheten för att någon som märkte bannern faktiskt röstade eller båda. Således ger detta experiment ett intressant upptäckt som andra forskare sannolikt kommer att utforska (se t.ex. Bakshy, Eckles, et al. (2012) ).

Förutom att utveckla forskarnas mål har detta experiment också utvecklat målet för partnerorganisationen (Facebook). Om du ändrar beteendet som studerats från att rösta till att köpa tvål kan du se att studien har exakt samma struktur som ett experiment för att mäta effekten av onlineannonser (se t.ex. RA Lewis and Rao (2015) ). Dessa studier med effektivitet vid annonsering mäter ofta effekten av exponering för onlineannonser - behandlingarna i Bond et al. (2012) är i grunden annonser för att rösta på offline-beteende. Således kan denna forskning förbättra Facebook: s förmåga att studera effektiviteten av onlineannonser och kan hjälpa Facebook att övertyga potentiella annonsörer om att Facebook-annonser är effektiva för att ändra beteende.

Trots att forskarna och partners intressen i huvudsak var inriktade på denna studie, var de också delvis i spänning. I synnerhet fördelningen av deltagare till de tre gruppkontrollen, Info och Info + Social-var enormt obalanserad: 98% av provet tilldelades Info + Social. Denna obalanserade fördelning är ineffektiv statistiskt och en mycket bättre fördelning för forskarna skulle ha haft en tredjedel av deltagarna i varje grupp. Men den obalanserade fördelningen hände eftersom Facebook ville att alla skulle få Info + Social behandling. Lyckligtvis övertygade forskarna dem att hålla tillbaka 1% för en relaterad behandling och 1% av deltagarna för en kontrollgrupp. Utan kontrollgruppen hade det i grunden varit omöjligt att mäta effekten av Info + Social behandling eftersom det skulle ha varit ett "perturb och observere" experiment snarare än ett randomiserat kontrollerat experiment. Detta exempel ger en värdefull praktisk lektion för att arbeta med partners. Ibland skapar du ett experiment genom att övertyga någon om att leverera en behandling och ibland skapar du ett experiment genom att övertyga någon om att inte lämna en behandling (dvs. att skapa en kontrollgrupp).

Partnerskap behöver inte alltid involvera teknikföretag och A / B-test med miljontals deltagare. Till exempel samarbetade Alexander Coppock, Andrew Guess och John Ternovski (2016) med en miljö-icke-statlig organisation - Conservation Voters League - att utföra experiment som testar olika strategier för att främja social mobilisering. Forskarna använde NGO: s Twitter-konto för att skicka ut både offentliga tweets och privata direktmeddelanden som försökte pröva olika typer av identiteter. De uppmättes sedan vilka av dessa meddelanden som var mest effektiva för att uppmuntra människor att underteckna en framställan och retweeta information om en framställan.

Sammantaget möjliggör partnerskap med den kraftfulla operatören att fungera på en skala som annars är svår att göra, och tabell 4.3 ger andra exempel på partnerskap mellan forskare och organisationer. Partnering kan vara mycket enklare än att bygga ditt eget experiment. Men dessa fördelar har nackdelar: partnerskap kan begränsa de olika typerna av deltagare, behandlingar och resultat som du kan studera. Vidare kan dessa partnerskap leda till etiska utmaningar. Det bästa sättet att upptäcka ett tillfälle för ett partnerskap är att märka ett verkligt problem som du kan lösa medan du gör intressant vetenskap. Om du inte brukar se världen, kan det vara svårt att hitta problem i Pasteurs kvadrant, men med övning börjar du märka dem mer och mer.