3.6.1 Amplified chiedendo

Il collegamento del tuo sondaggio di tracce digitali può essere come chiedere a tutti le vostre domande in qualsiasi momento.

Chiedere viene generalmente in due categorie principali: indagini per campione e censimenti. indagini a campione, in cui si accede a un piccolo numero di persone, possono essere flessibili, tempestive, e relativamente a buon mercato. Tuttavia, indagini campionarie, perché si basano su un campione, sono spesso limitati nella loro risoluzione; con un'indagine a campione, spesso è difficile fare stime sulle regioni geografiche specifiche o per specifici gruppi demografici. Censimenti, dall'altro, tentare di interrogare tutti nella popolazione. Hanno grande risoluzione, ma sono generalmente costosi, stretta a fuoco (che comprendono solo un piccolo numero di domande), e non puntuale (che avvengono su un programma fisso, ad esempio ogni 10 anni) (Kish 1979) . Ora immaginate se i ricercatori potessero combinare le migliori caratteristiche delle indagini per campione e censimenti; immaginate se poteva chiedere ricercatori ogni domanda a tutti ogni giorno.

Ovviamente, questo continuo, onnipresente, always-on indagine è una sorta di fantasia scienza sociale. Ma, sembra che possiamo cominciare a approssimare questo combinando domande del sondaggio da un piccolo numero di persone con tracce digitali da molte persone. Io chiamo questo tipo di combinazione amplificato chiedere. Se fatto bene, potrebbe aiutare ci offre stima che sono più locali (per le aree geografiche più piccole), più granulare (per gruppi demografici specifici), e più tempestivo.

Un esempio di chiedere amplificato viene dal lavoro di Joshua Blumenstock, che ha voluto raccogliere dati che potrebbero aiutare lo sviluppo guida nei paesi poveri. Più in particolare, Blumenstock voluto creare un sistema per misurare la ricchezza e il benessere che combina la completezza di un censimento con la flessibilità e la frequenza di un sondaggio (Blumenstock 2014; Blumenstock, Cadamuro, and On 2015) . In realtà, ho già descritto il lavoro di Blumenstock brevemente nel Capitolo 1.

Per iniziare, Blumenstock collaborato con il più grande operatore di telefonia mobile in Ruanda. La società gli ha fornito le registrazioni delle transazioni anonimi da circa 1,5 milioni di clienti che coprono comportamento dal 2005 e il 2009. I registri contengono informazioni su ciascun messaggio di chiamata e di testo come l'ora di inizio, la durata e la posizione geografica approssimativa del chiamante e ricevente. Prima di iniziare a parlare delle questioni statistiche, vale la pena di sottolineare che questo primo passo potrebbe essere uno dei più difficili. Come descritto nel capitolo 2, la maggior parte dei dati di traccia digitale è inaccessibile ai ricercatori. E, molte aziende sono giustamente riluttanti a condividere i propri dati, perché è privato; vale a dire i loro clienti probabilmente non si aspettavano che i loro dischi saranno condivise in bulk-con i ricercatori. In questo caso, i ricercatori hanno preso attente misure per anonimi i dati e il loro lavoro è stato supervisionato da una terza parte (vale a dire, la loro IRB). Ma, nonostante questi sforzi, questi dati sono probabilmente ancora identificabili e che probabilmente contengono informazioni sensibili (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Tornerò a queste questione etica nel Capitolo 6.

Ricordiamo che Blumenstock era interessato a misurare la ricchezza e il benessere. Ma, questi tratti non sono direttamente nei registri delle chiamate. In altre parole, queste registrazioni di chiamate sono incomplete per questa ricerca, una caratteristica comune di tracce digitali che è stato discusso in dettaglio nel capitolo 2. Ma, sembra probabile che le registrazioni delle chiamate probabilmente hanno alcune informazioni su di ricchezza e benessere. Quindi, un modo di fare domanda di Blumenstock potrebbe essere: è possibile prevedere come qualcuno risponderà a un sondaggio in base ai loro dati di traccia digitali? Se è così, chiedendo alcune persone siamo in grado di indovinare le risposte di tutti gli altri.

Per valutare questo empiricamente, Blumenstock e di ricerca assistenti da Kigali Institute of Science and Technology chiamato un campione di circa un migliaio di clienti di telefonia mobile. I ricercatori hanno spiegato gli obiettivi del progetto per i partecipanti, hanno chiesto il loro consenso a collegare le risposte al sondaggio ai record delle chiamate, e poi ha chiesto loro una serie di domande per misurare la loro ricchezza e il benessere, come ad esempio "Possiedi un radio? "e" Possiedi una bicicletta? "(si veda la Figura 3.11 per un elenco parziale). Tutti i partecipanti al sondaggio sono stati compensati finanziariamente.

Avanti, Blumenstock seguita una procedura in due fasi comuni nel campo della scienza dei dati: l'ingegneria funzione seguito da apprendimento supervisionato. In primo luogo, nella fase caratteristica di ingegneria, per tutti, che è stato intervistato, Blumenstock convertito le registrazioni delle chiamate in un insieme di caratteristiche di ogni persona; gli scienziati di dati potrebbe chiamare queste caratteristiche "caratteristiche" e gli scienziati sociali li chiamerebbero "variabili". Ad esempio, per ogni persona, Blumenstock calcolato il numero totale di giorni con attività, il numero di persone distinte una persona è stato in contatto con, la quantità di denaro speso per tempo di trasmissione, e così via. Criticamente, buona caratteristica tecnica richiede la conoscenza delle impostazioni di ricerca. Ad esempio, se è importante distinguere tra chiamate nazionali e internazionali (potremmo aspettarci persone che chiamano a livello internazionale per essere più ricchi), allora questo deve essere fatto nella fase funzione di ingegneria. Un ricercatore con poca comprensione del Ruanda potrebbe non includere questa funzione, e quindi la performance predittiva del modello soffrirà.

Successivamente, nella fase di apprendimento supervisionato, Blumenstock costruito un modello statistico per prevedere la risposta al sondaggio per ogni persona in base alle loro caratteristiche. In questo caso, Blumenstock usato la regressione logistica con 10 volte la convalida incrociata, ma avrebbe potuto usare una varietà di altri approcci di apprendimento statistico o della macchina.

Così come bene ha funzionato? Was Blumenstock in grado di prevedere le risposte di indagine domande come "Possiedi una radio?" E "Possiedi una bicicletta?" Utilizzando le funzionalità derivate da record di chiamata? Una specie di. La precisione delle previsioni erano alte per alcuni tratti (Figura 3.11). Ma, è sempre importante confrontare un metodo di previsione complesso contro una semplice alternativa. In questo caso, una semplice alternativa è quella di prevedere che ognuno darà la risposta più comune. Ad esempio, il 97,3% ha dichiarato di possedere una radio quindi se Blumenstock aveva predetto che ognuno avrebbe riferito possedere una radio avrebbe avuto una precisione del 97,3%, che è sorprendentemente simile alla prestazione della sua procedura più complessa (97,6% di precisione). In altre parole, tutti i dati di fantasia e modellazione aumentato la precisione della previsione dal 97,3% al 97,6%. Tuttavia, per altre questioni, come ad esempio "Possiedi una bicicletta?", Le previsioni migliorata dal 54,4% al 67,6%. Più in generale, la Figura 3.12 mostra per alcuni tratti Blumenstock non ha migliorato molto oltre la semplice rendendo la semplice previsione di base, ma che per altri tratti c'era qualche miglioramento.

Figura 3.11: accuratezza predittiva per il modello statistico allenato con i record delle chiamate. I risultati di tabella 2 Blumenstock (2014) .

Figura 3.12: Confronto di precisione predittiva per modello statistico allenato con i record di chiamata a semplice previsione di base. I punti sono leggermente jittered per evitare sovrapposizioni; vedi Tabella 2 di Blumenstock (2014) per i valori esatti.

A questo punto si potrebbe pensare che questi risultati sono un po 'deludente, ma solo un anno dopo, Blumenstock e due colleghi-Gabriel Cadamuro e Robert on-pubblicato un documento su Science con risultati sostanzialmente migliori (Blumenstock, Cadamuro, and On 2015) . C'erano due principali ragioni tecniche per il miglioramento: 1) hanno usato metodi più sofisticati (ad esempio, un nuovo approccio per caratterizzare l'ingegneria e un più sofisticato modello di apprendimento automatico) e 2), piuttosto che tentare di dedurre le risposte alle singole domande del sondaggio (ad esempio, "Possiedi una radio?"), hanno tentato di inferire un indice di ricchezza composito.

Blumenstock e colleghi hanno dimostrato le prestazioni del loro approccio in due modi. In primo luogo, hanno scoperto che per le persone in loro campione, che potevano fare un buon lavoro di predire la loro ricchezza dal record di chiamata (Figura 3.14). In secondo luogo, e sempre più importante, Blumenstock e colleghi hanno dimostrato che la loro procedura potrebbe produrre stime di alta qualità della distribuzione geografica della ricchezza in Ruanda. Più in particolare, hanno usato il loro modello di apprendimento automatico, che è stato addestrato al loro campione di circa 1.000 persone, di prevedere la ricchezza di tutti i 1,5 milioni di persone nei registri delle chiamate. Inoltre, con i dati geospaziali incorporati nei dati delle chiamate (richiamo che i dati chiamata comprende la posizione della torre di cella più vicino per ogni chiamata), i ricercatori sono stati in grado di stimare il luogo approssimativa di residenza di ogni persona. Mettendo insieme queste due stime, la ricerca ha prodotto una stima della distribuzione geografica della ricchezza abbonato al estremamente fine granularità spaziale. Ad esempio, si potrebbe stimare la ricchezza media in ciascuno dei 2148 cellule del Ruanda (la più piccola unità amministrativa del paese). Questi valori ricchezza previsti erano così granulare erano difficili da controllare. Così, i ricercatori aggregati i loro risultati di produrre stime della ricchezza media di 30 distretti del Ruanda. Queste stime a livello distrettuale erano fortemente correlati alle stime di un sondaggio tradizionale gold standard, il ruandese Demographic and Health Survey (Figura 3.14). Anche se le stime delle due fonti erano simili, le stime di Blumenstock e colleghi sono stati circa 50 volte in meno e 10 volte più veloce (quando il costo in misurato in termini di costi variabili). Questa drastica riduzione dei costi significa che invece di essere gestita ogni pochi anni, come è standard per demografiche e sanitarie-ibrido di piccola indagine in combinazione con i dati di traccia digitali grandi potrebbe essere eseguito ogni mese.

Figura 3.13: Schema di Blumenstock, Cadamuro, and On (2015) . i dati chiamata dalla compagnia telefonica è stato convertito in una matrice con una riga per ogni persona e una colonna per ogni caratteristica (cioè variabile). Successivamente, i ricercatori hanno costruito un modello di apprendimento supervisionato per prevedere le risposte al sondaggio da parte della persona da Matrix funzione. Quindi, il modello di apprendimento supervisionato è stata utilizzata per imputare le risposte al sondaggio per tutti. In sostanza, i ricercatori hanno utilizzato le risposte di circa un migliaio di persone di imputare la ricchezza di circa un milione di persone. Inoltre, i ricercatori hanno stimato il luogo approssimativa di residenza per tutti i 1,5 milioni di persone in base alle posizioni dei loro chiamate. Quando queste due stime sono state combinate-la ricchezza stimata e il luogo di residenza stimata-i risultati sono stati simili a quelle stimate dalla Demographic and Health Survey, un sondaggio tradizionale gold-standard (Figura 3.14).

Figura 3.14: I risultati di Blumenstock, Cadamuro, and On (2015) . Al singolo livello, i ricercatori sono stati in grado di fare un lavoro ragionevole a predire la ricchezza di una persona dalle loro registrazioni delle chiamate. Le stime di livello distrettuale ricchezza che si basavano su stime a livello individuale di ricchezza e luogo di residenza-i risultati sono stati simili a risultati dalla Demographic and Health Survey, un sondaggio tradizionale gold standard.

In conclusione, di Blumenstock amplificato chiedendo approccio combinato dati dell'indagine con i dati di traccia digitali per produrre stime comparabili con le stime del sondaggio oro-standard. Questo particolare esempio chiarisce anche alcuni dei compromessi tra chiedendo amplificato e metodi di indagine tradizionali. In primo luogo, le stime che chiedono amplificati sono stati più tempestivo, sostanzialmente più conveniente e più granulare. Ma, d'altra parte, in questo momento, non vi è una forte base teorica per questo tipo di chiedere amplificato. Cioè, questo un esempio non risulta che quando funziona e quando no. Inoltre, l'approccio richiesto amplificato non dispone ancora di un buon sistema per quantificare l'incertezza intorno sue stime. Tuttavia, chiedendo amplificato ha profonde connessioni a tre grandi aree in statistica-model-based post-stratificazione (Little 1993) , di imputazione (Rubin 2004) , e di stima piccola area (Rao and Molina 2015) -e quindi mi aspetto che il progresso sarà essere rapida.

chiedere amplificato segue una ricetta di base che può essere adattata per la vostra situazione particolare. Ci sono due ingredienti e due passi. I due ingredienti sono: 1) una traccia di dati digitale che è ampia ma sottile (cioè, ha molte persone, ma non le informazioni di cui avete bisogno su ogni persona) e 2) un sondaggio che è stretta, ma di spessore (cioè, ha solo poche persone, ma ha le informazioni di cui avete bisogno di quelle persone). Poi, ci sono due passaggi. In primo luogo, per le persone in entrambe le fonti di dati, costruire un modello di apprendimento automatico che utilizza i dati di traccia digitali per prevedere le risposte di indagine. Successivamente, utilizzare quel modello di apprendimento automatico ad imputare le risposte del sondaggio di ognuno nei dati di traccia digitali. Quindi, se c'è qualche problema che si vuole chiedere a un sacco di gente, cercare i dati di traccia digitali da quelle persone che potrebbero essere utilizzati per prevedere la loro risposta.

Confronto tra primo e secondo tentativo di Blumenstock il problema illustra anche una lezione importante per il passaggio dal secondo periodo ad approcci terza era per esaminare la ricerca: l'inizio non è la fine. Cioè, molte volte, il primo approccio non sarà il migliore, ma se i ricercatori di continuare di lavoro, le cose possono migliorare. Più in generale, al momento di valutare nuovi approcci alla ricerca sociale nell'era digitale, è importante fare due valutazioni distinte: 1) quanto bene fa questo lavoro ora e 2) quanto bene pensi che questo potrebbe funzionare in futuro, come il paesaggio dei dati cambiamenti e come ricercatori dedicano maggiore attenzione al problema. Anche se, i ricercatori sono addestrati a fare il primo tipo di valutazione (quanto è buono questo particolare pezzo di ricerca), il secondo è spesso più importante.