Het bouwen van uw eigen product is een risicovolle benadering met hoge opbrengsten. Maar als het werkt, kunt u profiteren van een positieve feedbacklus die onderscheidend onderzoek mogelijk maakt.
Als je de benadering van het bouwen van je eigen experiment een stap verder zet, bouwen sommige onderzoekers eigenlijk hun eigen producten. Deze producten trekken gebruikers aan en dienen vervolgens als platform voor experimenten en ander soort onderzoek. Een groep onderzoekers aan de Universiteit van Minnesota creëerde bijvoorbeeld MovieLens, dat gratis, niet-commerciële gepersonaliseerde filmaanbevelingen biedt. MovieLens is sinds 1997 continu actief en gedurende deze periode hebben 250.000 geregistreerde gebruikers meer dan 20 miljoen beoordelingen van meer dan 30.000 films verstrekt (Harper and Konstan 2015) . MovieLens heeft de actieve gemeenschap van gebruikers gebruikt om prachtig onderzoek uit te voeren, variërend van het testen van theorieën over sociale wetenschappen over bijdragen aan publieke goederen (Beenen et al. 2004; Cosley et al. 2005; Chen et al. 2010; Ren et al. 2012) aan het aanpakken van algoritmische uitdagingen in aanbevelingssystemen (Rashid et al. 2002; Drenner et al. 2006; Harper, Sen, and Frankowski 2007; Ekstrand et al. 2015) . Veel van deze experimenten zouden niet mogelijk zijn geweest zonder dat onderzoekers volledige controle over een echt werkend product hadden.
Helaas is het opbouwen van je eigen product ongelooflijk moeilijk, en je zou het moeten zien als het creëren van een start-up bedrijf: een hoog risico, een hoge beloning. Als dit lukt, biedt deze aanpak veel van de controle die afkomstig is van het bouwen van uw eigen experiment met het realisme en de deelnemers die voortkomen uit het werken in bestaande systemen. Verder is deze benadering mogelijk in staat om een positieve feedbackloop te creëren waarbij meer onderzoek leidt tot een beter product dat leidt tot meer gebruikers, wat leidt tot meer onderzoekers enzovoorts (figuur 4.16). Met andere woorden, als een positieve feedbacklus begint, moet onderzoek eenvoudiger en gemakkelijker worden. Hoewel deze aanpak op dit moment erg moeilijk is, hoop ik dat het praktischer zal worden naarmate de technologie verbetert. Tot die tijd echter, als een onderzoeker een product wil beheersen, is de meer directe strategie om samen te werken met een bedrijf, het onderwerp dat ik hierna zal bespreken.