Partnering kan minska kostnaderna och öka skalan, men det kan ändra vilka typer av deltagare, behandlingar och resultat som du kan använda.
Alternativet till att göra det själv är att samarbeta med en stark organisation som ett företag, en regering eller en icke-statlig organisation. Fördelen med att arbeta med en partner är att de kan ge dig möjlighet att köra experiment som du inte bara kan göra själv. Till exempel, ett av de experiment som jag ska berätta om nedan berörde 61 miljoner deltagare - ingen enskild forskare skulle kunna uppnå denna skala. Samtidigt ökar samarbetet vad du kan göra, det begränsar dig också. Till exempel tillåter de flesta företag inte att du kör ett experiment som kan skada deras affärer eller deras rykte. Att arbeta med partners innebär också att när det är dags att publicera, kan du komma under press för att "omrama" dina resultat, och vissa partners kan till och med försöka blockera publiceringen av ditt arbete om det gör dem dåliga. Slutligen kommer partnerskap också med kostnader för att utveckla och upprätthålla dessa samarbeten.
Kärnutmaningen som måste lösas för att lyckas med dessa partnerskap är att hitta ett sätt att balansera båda parternas intressen, och ett bra sätt att tänka på balansen är Pasteurs kvadrant (Stokes 1997) . Många forskare tror att om de jobbar på något praktiskt - något som kan vara av intresse för en partner - då kan de inte göra riktig vetenskap. Denna inställning gör det mycket svårt att skapa framgångsrika partnerskap, och det råkar också vara helt fel. Problemet med detta sätt att tänka är underbart illustrerat av biologen Louis Pasteurs banbrytande forskning. Samtidigt som han arbetade på ett kommersiellt jäsningsprojekt för att omvandla betsjuice till alkohol, upptäckte Pasteur en ny klass av mikroorganismer som så småningom ledde till bakterieteori om sjukdom. Denna upptäckt löste ett mycket praktiskt problem - det bidrog till att förbättra fermentationsprocessen - och det ledde till ett stort vetenskapligt framsteg. Således, snarare än att tänka på forskning med praktiska tillämpningar som att strida mot sann vetenskaplig forskning, är det bättre att tänka på dessa som två separata dimensioner. Forskning kan motiveras genom användning (eller inte), och forskning kan söka grundläggande förståelse (eller inte). Kritiskt kan vissa forskningsliknande Pasteur-motiveras genom användning och söka grundläggande förståelse (figur 4.17). Forskning i Pasteurs kvadrant-forskning som i sig utvecklar två mål - är idealisk för samarbete mellan forskare och partners. Med tanke på den bakgrunden ska jag beskriva två experimentella studier med partnerskap: en med ett företag och en med en icke-statlig organisation.
Stora företag, särskilt teknikföretag, har utvecklat oerhört sofistikerad infrastruktur för att driva komplexa experiment. I teknikindustrin kallas dessa experiment ofta A / B-test eftersom de jämför effektiviteten hos två behandlingar: A och B. Sådana experiment körs ofta för saker som ökande klickfrekvenser på annonser, men samma experimentella infrastruktur kan också användas för forskning som främjar vetenskaplig förståelse. Ett exempel som illustrerar potentialen för denna typ av forskning är en studie som genomförs av ett partnerskap mellan forskare på Facebook och University of California, San Diego, om effekterna av olika meddelanden om valdeltagandet (Bond et al. 2012) .
Den 2 november 2010-dagen för det amerikanska kongressvalet - alla 61 miljoner Facebook-användare som bodde i USA och var 18 år och äldre deltog i ett experiment om omröstning. Vid besök på Facebook användes slumpmässigt till en av tre grupper som bestämde vilken banner (om någon) placerades högst upp i sitt nyhetsflöde (figur 4.18):
Bond och kollegor studerade två huvudresultat: rapporterat röstbeteende och faktiskt röstbeteende. Först fann de att personer i Info + Sociala gruppen var ungefär två procentenheter mer sannolika än personer i Info-gruppen för att klicka på "Jag röstade" (cirka 20% mot 18%). Efter att forskarna slog samman sina uppgifter med offentligt tillgängliga röstberättelser för cirka sex miljoner personer fann de att personer i Info + Sociala gruppen var 0,39 procentenheter mer benägna att faktiskt rösta än de i kontrollgruppen och att personer i Info-gruppen var lika sannolikt att rösta som i kontrollgruppen (figur 4.18).
Resultaten av det här experimentet visar att vissa meddelanden om online-utgående röst är effektivare än andra och att en forskares uppskattning av effektiviteten kan bero på huruvida resultatet rapporteras rösträtt eller faktisk röstning. Det här experimentet erbjuder tyvärr inte några ledtrådar om de mekanismer genom vilka den sociala informationen, som vissa forskare lekfullt har kallat en "ansiktspile" ökad röstning. Det kan vara så att den sociala informationen ökade sannolikheten för att någon märkte bannern eller att det ökade sannolikheten för att någon som märkte bannern faktiskt röstade eller båda. Således ger detta experiment ett intressant upptäckt som andra forskare sannolikt kommer att utforska (se t.ex. Bakshy, Eckles, et al. (2012) ).
Förutom att utveckla forskarnas mål har detta experiment också utvecklat målet för partnerorganisationen (Facebook). Om du ändrar beteendet som studerats från att rösta till att köpa tvål kan du se att studien har exakt samma struktur som ett experiment för att mäta effekten av onlineannonser (se t.ex. RA Lewis and Rao (2015) ). Dessa studier med effektivitet vid annonsering mäter ofta effekten av exponering för onlineannonser - behandlingarna i Bond et al. (2012) är i grunden annonser för att rösta på offline-beteende. Således kan denna forskning förbättra Facebook: s förmåga att studera effektiviteten av onlineannonser och kan hjälpa Facebook att övertyga potentiella annonsörer om att Facebook-annonser är effektiva för att ändra beteende.
Trots att forskarna och partners intressen i huvudsak var inriktade på denna studie, var de också delvis i spänning. I synnerhet fördelningen av deltagare till de tre gruppkontrollen, Info och Info + Social-var enormt obalanserad: 98% av provet tilldelades Info + Social. Denna obalanserade fördelning är ineffektiv statistiskt och en mycket bättre fördelning för forskarna skulle ha haft en tredjedel av deltagarna i varje grupp. Men den obalanserade fördelningen hände eftersom Facebook ville att alla skulle få Info + Social behandling. Lyckligtvis övertygade forskarna dem att hålla tillbaka 1% för en relaterad behandling och 1% av deltagarna för en kontrollgrupp. Utan kontrollgruppen hade det i grunden varit omöjligt att mäta effekten av Info + Social behandling eftersom det skulle ha varit ett "perturb och observere" experiment snarare än ett randomiserat kontrollerat experiment. Detta exempel ger en värdefull praktisk lektion för att arbeta med partners. Ibland skapar du ett experiment genom att övertyga någon om att leverera en behandling och ibland skapar du ett experiment genom att övertyga någon om att inte lämna en behandling (dvs. att skapa en kontrollgrupp).
Partnerskap behöver inte alltid involvera teknikföretag och A / B-test med miljontals deltagare. Till exempel samarbetade Alexander Coppock, Andrew Guess och John Ternovski (2016) med en miljö-icke-statlig organisation - Conservation Voters League - att utföra experiment som testar olika strategier för att främja social mobilisering. Forskarna använde NGO: s Twitter-konto för att skicka ut både offentliga tweets och privata direktmeddelanden som försökte pröva olika typer av identiteter. De uppmättes sedan vilka av dessa meddelanden som var mest effektiva för att uppmuntra människor att underteckna en framställan och retweeta information om en framställan.
Ämne | referenser |
---|---|
Effekt av Facebook News Feed på informationsdelning | Bakshy, Rosenn, et al. (2012) |
Effekt av partiell anonymitet på beteende på online dating webbplats | Bapna et al. (2016) |
Effekt av hushållsrapporter om elanvändning | Allcott (2011) ; Allcott and Rogers (2014) ; Allcott (2015) ; Costa and Kahn (2013) ; Ayres, Raseman, and Shih (2013) |
Effekt av appdesign på viral spread | Aral and Walker (2011) |
Effekt av spridningsmekanism vid diffusion | SJ Taylor, Bakshy, and Aral (2013) |
Effekt av social information i reklam | Bakshy, Eckles, et al. (2012) |
Effekt av katalogfrekvens på försäljning via katalog och online för olika typer av kunder | Simester et al. (2009) |
Effekt av popularitet information om potentiella jobbansökningar | Gee (2015) |
Effekt av initiala betyg på popularitet | Muchnik, Aral, and Taylor (2013) |
Effekt av meddelandeinnehåll på politisk mobilisering | Coppock, Guess, and Ternovski (2016) |
Sammantaget möjliggör partnerskap med den kraftfulla operatören att fungera på en skala som annars är svår att göra, och tabell 4.3 ger andra exempel på partnerskap mellan forskare och organisationer. Partnering kan vara mycket enklare än att bygga ditt eget experiment. Men dessa fördelar har nackdelar: partnerskap kan begränsa de olika typerna av deltagare, behandlingar och resultat som du kan studera. Vidare kan dessa partnerskap leda till etiska utmaningar. Det bästa sättet att upptäcka ett tillfälle för ett partnerskap är att märka ett verkligt problem som du kan lösa medan du gör intressant vetenskap. Om du inte brukar se världen, kan det vara svårt att hitta problem i Pasteurs kvadrant, men med övning börjar du märka dem mer och mer.