4.5.4 Partner con i potenti

Partnering può ridurre i costi e aumentare la scala, ma può alterare i tipi di partecipanti, trattamenti, e risultati che è possibile utilizzare.

L'alternativa a farlo da soli è la collaborazione con un'organizzazione potente come un'azienda, un governo o una ONG. Il vantaggio di lavorare con un partner è che possono permettervi di eseguire esperimenti che non potete fare da soli. Ad esempio, uno degli esperimenti di cui ti parlerò in seguito ha coinvolto 61 milioni di partecipanti: nessun ricercatore singolo potrebbe raggiungere tale livello. Allo stesso tempo, la collaborazione aumenta ciò che puoi fare, ma ti costringe anche. Ad esempio, la maggior parte delle aziende non ti consentirà di eseguire un esperimento che potrebbe danneggiare la loro attività o la loro reputazione. Lavorare con i partner significa anche che quando arriva il momento di pubblicare, potresti subire delle pressioni per "re-frame" i tuoi risultati, e alcuni partner potrebbero anche provare a bloccare la pubblicazione del tuo lavoro se li fa sembrare cattivi. Infine, la partnership include anche i costi relativi allo sviluppo e al mantenimento di queste collaborazioni.

La sfida principale che deve essere risolta per rendere questi partenariati di successo è trovare un modo per bilanciare gli interessi di entrambe le parti, e un modo utile per pensare a tale equilibrio è il Quadrant di Pasteur (Stokes 1997) . Molti ricercatori pensano che se stanno lavorando su qualcosa di pratico, qualcosa che potrebbe interessare un partner, allora non possono fare scienza vera. Questa mentalità renderà molto difficile creare partnership di successo, e inoltre è completamente sbagliato. Il problema con questo modo di pensare è meravigliosamente illustrato dalla ricerca innovativa del biologo Louis Pasteur. Mentre lavorava a un progetto di fermentazione commerciale per convertire il succo di barbabietola in alcol, Pasteur scoprì una nuova classe di microrganismi che alla fine portò alla teoria dei germi della malattia. Questa scoperta ha risolto un problema molto pratico - ha contribuito a migliorare il processo di fermentazione - e ha portato a un importante progresso scientifico. Quindi, piuttosto che pensare alla ricerca con applicazioni pratiche come in conflitto con la vera ricerca scientifica, è meglio pensare a queste come a due dimensioni separate. La ricerca può essere motivata dall'uso (o meno) e la ricerca può cercare la comprensione fondamentale (o meno). Criticamente, alcuni Pasteur simili alla ricerca possono essere motivati ​​dall'uso e dalla ricerca della comprensione fondamentale (figura 4.17). La ricerca nella ricerca quadrante di Pasteur, che innalza intrinsecamente due obiettivi, è ideale per collaborazioni tra ricercatori e partner. Dato questo background, descriverò due studi sperimentali con partnership: uno con un'azienda e uno con una ONG.

Figura 4.17: Quadrante di Pasteur (Stokes 1997) . Piuttosto che pensare alla ricerca come "di base" o "applicata", è meglio considerarla motivata dall'uso (o meno) e cercare la comprensione fondamentale (o meno). Un esempio di ricerca che entrambi sono motivati ​​dall'uso e cerca la comprensione fondamentale è il lavoro di Pasteur sulla conversione del succo di barbabietola in alcol che conduce alla teoria dei germi della malattia. Questo è il tipo di lavoro che è più adatto per le partnership con i potenti. Esempi di lavoro che è motivato dall'uso ma che non cerca la comprensione fondamentale provengono da Thomas Edison, e esempi di lavoro che non è motivato dall'uso ma che cerca la comprensione provengono da Niels Bohr. Vedi Stokes (1997) per una discussione più approfondita su questo quadro e su ciascuno di questi casi. Adattato da Stokes (1997) , figura 3.5.

Le grandi aziende, in particolare le aziende tecnologiche, hanno sviluppato un'infrastruttura incredibilmente sofisticata per eseguire esperimenti complessi. Nell'industria tecnologica, questi esperimenti vengono spesso chiamati test A / B perché confrontano l'efficacia di due trattamenti: A e B. Tali esperimenti vengono spesso eseguiti per cose come l'aumento delle percentuali di clic sugli annunci, ma la stessa infrastruttura sperimentale può anche essere utilizzato per la ricerca che avanza la comprensione scientifica. Un esempio che illustra il potenziale di questo tipo di ricerca è uno studio condotto da una partnership tra i ricercatori di Facebook e l'Università della California, a San Diego, sugli effetti di diversi messaggi sull'affluenza degli elettori (Bond et al. 2012) .

Il 2 novembre 2010, il giorno delle elezioni al Congresso degli Stati Uniti, tutti i 61 milioni di utenti di Facebook che vivevano negli Stati Uniti e avevano 18 anni e più hanno preso parte a un esperimento sul voto. Visitando Facebook, gli utenti sono stati assegnati in modo casuale in uno dei tre gruppi, che hanno determinato quale banner (se presente) è stato collocato in cima al loro feed di notizie (figura 4.18):

• un gruppo di controllo
• un messaggio informativo sul voto con un pulsante "I Votato" cliccabile e un contatore (Informazioni)
• un messaggio informativo sul voto con un pulsante "I Votato" cliccabile e un contatore più i nomi e le foto dei loro amici che avevano già cliccato su "I Votato" (Info + Social)

Bond e colleghi hanno studiato due risultati principali: comportamento di voto segnalato e comportamento di voto effettivo. In primo luogo, hanno rilevato che le persone nel gruppo Info + Social erano più di due punti percentuali più probabilità rispetto alle persone nel gruppo Info di fare clic su "I Votato" (circa il 20% contro il 18%). Inoltre, dopo che i ricercatori hanno fuso i loro dati con record di voto disponibili al pubblico per circa sei milioni di persone, hanno scoperto che le persone nel gruppo Info + Social erano più 0,39 punti percentuali più probabilità di votare rispetto a quelle nel gruppo di controllo e le persone nel gruppo Info erano altrettanto propensi a votare come quelli nel gruppo di controllo (figura 4.18).

Figura 4.18: Risultati di un esperimento get-out-the-vote su Facebook (Bond et al. 2012) . I partecipanti al gruppo Info hanno votato allo stesso tasso di quelli del gruppo di controllo, ma le persone nel gruppo Info + Social hanno votato a un tasso leggermente più alto. Le barre rappresentano gli intervalli di confidenza stimati del 95%. I risultati nel grafico si riferiscono ai circa sei milioni di partecipanti che sono stati abbinati alle registrazioni elettorali. Adattato da Bond et al. (2012) , figura 1.

I risultati di questo esperimento dimostrano che alcuni messaggi di voto in uscita online sono più efficaci di altri e che la stima dell'efficacia di un ricercatore può dipendere dal fatto che il risultato sia riferito al voto o al voto effettivo. Questo esperimento, purtroppo, non offre alcun indizio sui meccanismi attraverso i quali le informazioni sociali - che alcuni ricercatori hanno scherzosamente definito "faccia a faccia" - hanno aumentato il voto. Potrebbe essere che l'informazione sociale aumentasse la probabilità che qualcuno notasse il banner o aumentasse la probabilità che qualcuno che aveva notato il banner effettivamente votasse o entrambi. Pertanto, questo esperimento fornisce una scoperta interessante che altri ricercatori probabilmente esploreranno (vedi, ad esempio, Bakshy, Eckles, et al. (2012) ).

Oltre a far progredire gli obiettivi dei ricercatori, questo esperimento ha anche migliorato l'obiettivo dell'organizzazione partner (Facebook). Se cambi il comportamento studiato dal voto all'acquisto di sapone, allora puoi vedere che lo studio ha la stessa struttura di un esperimento per misurare l'effetto degli annunci online (vedi ad esempio, RA Lewis and Rao (2015) ). Questi studi sull'efficacia degli annunci misurano frequentemente l'effetto dell'esposizione agli annunci online: i trattamenti di Bond et al. (2012) sono fondamentalmente annunci per il voto sul comportamento offline. Pertanto, questa ricerca potrebbe far progredire la capacità di Facebook di studiare l'efficacia degli annunci online e potrebbe aiutare Facebook a convincere i potenziali inserzionisti che gli annunci di Facebook sono efficaci nel modificare il comportamento.

Anche se gli interessi dei ricercatori e dei partner erano per lo più allineati in questo studio, erano anche parzialmente in tensione. In particolare, l'allocazione dei partecipanti ai tre gruppi - controllo, Info e Info + Social - era tremendamente squilibrata: il 98% del campione è stato assegnato a Info + Social. Questa assegnazione squilibrata è statisticamente inefficiente e un'assegnazione molto migliore per i ricercatori avrebbe avuto un terzo dei partecipanti in ciascun gruppo. Ma l'assegnazione squilibrata è avvenuta perché Facebook voleva che tutti ricevessero il trattamento Info + Social. Fortunatamente, i ricercatori li hanno convinti a trattenere l'1% per un trattamento correlato e l'1% dei partecipanti per un gruppo di controllo. Senza il gruppo di controllo, sarebbe stato praticamente impossibile misurare l'effetto del trattamento Info + Social perché sarebbe stato un esperimento "perturb e observ" piuttosto che un esperimento controllato randomizzato. Questo esempio fornisce una preziosa lezione pratica per lavorare con i partner: a volte si crea un esperimento convincendo qualcuno a fornire un trattamento ea volte si crea un esperimento convincendo qualcuno a non fornire un trattamento (cioè, per creare un gruppo di controllo).

La partnership non ha sempre bisogno di coinvolgere aziende tecnologiche e test A / B con milioni di partecipanti. Ad esempio, Alexander Coppock, Andrew Guess e John Ternovski (2016) collaborato con una ONG ambientalista, la Lega dei conservatori, per condurre esperimenti che testano diverse strategie per promuovere la mobilitazione sociale. I ricercatori hanno utilizzato l'account Twitter dell'ONG per inviare tweet pubblici e messaggi diretti privati ​​che tentavano di identificare diversi tipi di identità. Hanno poi misurato quali di questi messaggi sono stati più efficaci per incoraggiare le persone a firmare una petizione e a retwittare informazioni su una petizione.

Nel complesso, la collaborazione con i potenti consente di operare su una scala che è altrimenti difficile da fare, e la tabella 4.3 fornisce altri esempi di partnership tra ricercatori e organizzazioni. La collaborazione può essere molto più semplice della costruzione del tuo esperimento. Ma questi vantaggi hanno degli svantaggi: le partnership possono limitare i tipi di partecipanti, trattamenti e risultati che è possibile studiare. Inoltre, queste partnership possono portare a sfide etiche. Il modo migliore per individuare un'opportunità per una partnership è di notare un problema reale che puoi risolvere mentre stai facendo una scienza interessante. Se non sei abituato a questo modo di guardare il mondo, può essere difficile individuare problemi nel Quadrant di Pasteur, ma, con la pratica, inizierai a notarli sempre di più.