2.4.3 samræmingu tilraunir

Við getum áætlað tilraunir sem við höfum ekki eða getum ekki gert. Tvær aðferðir sem sérstaklega njóta góðs af stórum gögnum eru náttúrulegar tilraunir og samsvörun.

Nokkrar mikilvægar vísinda- og stefnumótandi spurningar eru orsakir. Til dæmis, hvað er áhrif starfsþjálfunaráætlunar á laun? Rannsakandi sem leitast við að svara þessari spurningu gæti borið saman hagnað fólks sem skráði sig til þjálfunar hjá þeim sem ekki. En hversu mikið munur á launum milli þessara hópa er vegna þess að þjálfunin er og hversu mikið er vegna þess að fyrirliggjandi mismunur er á milli fólksins sem skráir sig og þá sem ekki eru? Þetta er erfitt spurning, og það er ein sem ekki sjálfkrafa að fara í burtu með fleiri gögnum. Með öðrum orðum veldur áhyggjuefnið um hugsanlega mismunun sem er fyrir hendi, sama hversu margir starfsmenn eru í gögnunum þínum.

Í flestum tilfellum er sterkasta leiðin til að meta orsakatengsl sumra meðferða, svo sem starfsþjálfunar, að keyra slembiraðaðri tilraun þar sem rannsóknarmaður gefur handahófi meðferð með sumum einstaklingum og ekki öðrum. Ég ætla að eyða öllum kafla 4 í tilraunir, þannig að ég ætla að einbeita mér að tveimur aðferðum sem hægt er að nota með gögnum sem ekki eru tilraunir. Fyrsti stefnan veltur á því að leita að því sem er að gerast í heiminum, sem handahófi (eða næstum af handahófi) úthlutar meðferðinni til sumra manna og ekki annarra. Önnur stefna veltur á því að tölfræðilega leiðrétta gögn sem ekki eru tilraunir í tilraun til að taka tillit til fyrirliggjandi mismun á milli þeirra sem gerðu og fengu ekki meðferðina.

Efasemdamaður gæti krafist þess að bæði þessar aðferðir verði forðast vegna þess að þeir þurfa sterkar forsendur, forsendur sem erfitt er að meta og í reynd eru oft brotin. Þó að ég sé sammála þessum kröfu, held ég að það fer svolítið of langt. Það er vissulega satt að erfitt sé að áreiðanlega gera orsakatölur úr gögnum sem ekki eru tilraunir, en ég held ekki að það þýðir að við ættum aldrei að reyna. Sérstaklega geta tilraunir sem ekki eru tilraunir verið gagnlegar ef logistical þvingun kemur í veg fyrir að þú gerir tilraun eða ef siðferðileg þvingun þýðir að þú vilt ekki keyra tilraun. Ennfremur geta tilraunaaðferðir verið gagnlegar ef þú vilt nýta gögnum sem þegar eru til í því skyni að hanna slembiraðað samanburðarrannsókn.

Áður en haldið er áfram er það líka athyglisvert að orsakasamningar eru ein af flóknustu málefnum í félagslegum rannsóknum og einn sem getur leitt til mikils og tilfinningalegrar umræðu. Í því sem hér segir mun ég leggja fram bjartsýnn lýsingu á hverri nálgun til þess að byggja upp innsæi um það, þá mun ég lýsa nokkrum af þeim áskorunum sem upp koma þegar þessi nálgun er notuð. Nánari upplýsingar um hverja nálgun er að finna í efnunum í lok þessa kafla. Ef þú ætlar að nota eitthvað af þessum aðferðum í eigin rannsóknum mæli ég mjög með að lesa eitt af mörgum framúrskarandi bæklingum um orsakasamhengi (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Ein aðferð til að gera orsakatölur úr gögnum sem ekki eru tilraunir er að leita að atburði sem hefur handahófi úthlutað sumum einstaklingum og ekki öðrum. Þessar aðstæður eru kallaðir náttúrulegar tilraunir . Eitt af því skýrasta dæmi um náttúruleg tilraun koma frá rannsóknum Joshua Angrist (1990) mælir áhrif hernaðarþjónustu á tekjur. Í stríðinu í Víetnam, Bandaríkin aukið stærð hersins í gegnum drög. Til að ákveða hvaða borgarar yrðu kallaðir til þjónustu, hélt ríkisstjórn Bandaríkjanna happdrætti. Sérhver fæðingardag var skrifaður á blað og, eins og sýnt er á mynd 2.7, voru þessi pappír valin einn í einu til þess að ákvarða hvaða röð ungu menn yrðu kallaðir til að þjóna (ungar konur voru ekki háð til drögsins). Byggt á niðurstöðum, menn fæðast 14. september voru kallaðir fyrst, menn fæddir 24. apríl voru kallaðir annað, og svo framvegis. Að lokum, í þessum happdrætti, voru menn fæddir á 195 mismunandi dögum undirritaðir, en menn fæddir á 171 daga voru ekki.

Mynd 2.7: Þingmaður Alexander Pirnie (R-NY) teiknaði fyrsta hylkið fyrir valið þjónustudeild þann 1. desember 1969. Joshua Angrist (1990) sameina drög að happdrætti með tekjulindum frá almannatryggingastofnuninni til að meta áhrif herþjónustu á tekjur. Þetta er dæmi um rannsóknir með náttúrulegri tilraun. Heimild: US Selective Service System (1969) / Wikimedia Commons .

Þrátt fyrir að það sé ekki strax ljóst, hefur drög að happdrætti mikilvægt líkt við slembiraðaðri tilraun: í báðum tilvikum eru þátttakendur handahófi úthlutað til að fá meðferð. Til að kanna áhrif þessarar slembiraðaðrar meðferðar nýtti Angrist sér ávallt stórt gagnakerfi: Bandaríska almannatryggingastofnunin, sem safnar upplýsingum um tekjur nánast allra Bandaríkjanna frá atvinnu. Með því að sameina upplýsingar um hver var valið af handahófi í drög að happdrætti með tekjutegundunum sem safnað var í stjórnsýsluyfirlýsingum, komst Angrist að þeirri niðurstöðu að tekjur vopnahlésdaga væru um 15% minni en tekjur sambærilegra utan vopna.

Eins og þetta dæmi sýnir er stundum félagsleg, pólitísk eða náttúruleg sveitir úthlutað meðferðum á þann hátt sem vísindamenn geta aflað sér og stundum eru áhrif þessara meðferða teknar í alltaf stórum gögnum. Þessar rannsóknaraðferðir geta verið samantektar sem hér segir: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Til að lýsa þessari stefnu á stafrænu aldri, þá er fjallað um rannsókn Alexandre Mas og Enrico Moretti (2009) sem reyndi að meta áhrif þess að vinna með afkastamiklum samstarfsmönnum um framleiðni starfsmanns. Áður en niðurstöðurnar eru skoðaðar er vert að benda á að það sé ósamræmi við væntingar sem þú gætir haft. Annars vegar gætir þú búist við því að vinna með afkastamiklum samstarfsmönnum myndi leiða starfsmann til að auka framleiðni sína vegna samsærisþrýstings. Eða hins vegar gætir þú búist við því að hafa vinnusamlegir vinir gætu leitt starfsmann til að slaka á vegna þess að verkið verður gert af jafnaldra sínum. Skýrustu leiðin til að rannsaka jafnaáhrif á framleiðni væri slembiraðað samanburðarrannsókn þar sem starfsmenn eru handahófi úthlutað til starfsmanna með mismunandi framleiðni og þá er framleiðni sem mælt er með mæld fyrir alla. Rannsóknarmenn stjórna hins vegar ekki tímaáætlun starfsmanna í neinum raunverulegum viðskiptum, og Mas og Moretti þurftu að treysta á náttúruleg tilraun sem felur í sér gjaldkeri í matvörubúð.

Í þessari tilteknu matvörubúð, vegna þess hvernig tímasetningar voru gerðar og hvernig vaktirnir voru skarast, höfðu hver gjaldkeri haft mismunandi vinnufólk á mismunandi tímum dags. Ennfremur í þessu tiltekna matvörubúð var úthlutun gjaldkeri ekki tengd framleiðni jafnaldra sinna eða hversu upptekinn búðin var. Með öðrum orðum, þótt tímasetning kassjafna væri ekki ákvörðuð af happdrætti, var það eins og starfsmenn voru stundum úthlutað til starfa með háum (eða lágum) framleiðslustörfum. Sem betur fer átti þetta matvörubúð einnig stafrænt eftirlitskerfi sem fylgdi þeim atriðum sem hvern gjaldkeri var að skanna á öllum tímum. Frá þessum könnunarskrám gögnum, Mas og Moretti gátu búið til nákvæma, einstakra og ávallt mælikvarða á framleiðni: fjöldi hluta sem skönnuð var á sekúndu. Með því að sameina þessar tvær hlutir - náttúrulega breytingin í samvinnu framleiðenda og ávallt mælikvarða á framleiðni-Mas og Moretti áætlað að ef gjaldkeri væri úthlutað samstarfsfólki sem var 10% meira afkastamikill en meðaltal myndi framleiðni hennar aukast um 1,5% . Ennfremur notuðu þeir stærð og gnægð gagna sinna til að kanna tvö mikilvæg atriði: ólíkleiki þessara áhrifa (Fyrir hvaða tegundir starfsmanna er áhrifin stærri?) Og aðferðirnar á bak við áhrif meiri framleiðni?). Við munum snúa aftur að þessum tveimur mikilvægum málum - ósamræmi meðferðaráhrifa og aðferða - í kafla 4 þegar við fjallað um tilraunir nánar.

Almennt frá þessum tveimur rannsóknum er tafla 2.3 yfirlit yfir aðrar rannsóknir sem hafa sömu uppbyggingu: Notkun ávallt gagnasafns til að mæla áhrif sumra af handahófi afbrigði. Í reynd nota vísindamenn tvær mismunandi aðferðir til að finna náttúrulegar tilraunir, sem bæði geta verið frjósöm. Sumir vísindamenn byrja með alltaf á gagnaheimild og leita að handahófi atburðum í heiminum; aðrir byrja handahófi atburður í heiminum og leita að gögnum heimildum sem fanga áhrif hennar.

Í umfjölluninni sem um er að ræða náttúrulegar tilraunir, hef ég skilið út mikilvæg atriði: að fara frá því hvaða náttúran hefur veitt þér það sem þú vilt getur stundum verið mjög erfiður. Við skulum fara aftur til Víetnam drög dæmi. Í þessu tilfelli var Angrist áhuga á að meta áhrif hernaðarþjónustu á tekjur. Því miður var herþjónustu ekki af handahófi úthlutað; frekar var það ritað sem var handahófi úthlutað. Samt sem áður, ekki allir sem voru skrifaðir þjónuðu (það voru fjölmörg undanþágur), og ekki allir sem þjónuðu var gerð (fólk gæti sjálfboðaliða að þjóna). Vegna þess að ritað var handahófi úthlutað, getur rannsóknarmaður áætlað áhrif þess að vera tekin fyrir alla menn í drögunum. En Angrist vildi ekki vita hvaða áhrif hann væri að búa til. Hann vildi vita um áhrif þjóna í herinn. Til að gera þessa áætlun er hins vegar krafist frekari forsendna og fylgikvilla. Í fyrsta lagi þurfa vísindamenn að gera ráð fyrir að eina leiðin sem gerð er til að hafa áhrif á hagnaðinn er með herþjónustu, forsendan sem kallast útilokunarhindrunin . Þessi forsenda gæti verið rangt ef til dæmis menn sem voru skrifaðir voru lengur í skólanum til að koma í veg fyrir að þjóna eða ef vinnuveitendur voru líklegri til að ráða menn sem voru gerðir. Almennt er útilokunarhindrunin mikilvægt forsendu og það er yfirleitt erfitt að staðfesta. Jafnvel þótt útilokunarhindranir séu réttar, er enn ómögulegt að meta áhrif þjónustu á alla menn. Í staðinn kemur í ljós að vísindamenn geta aðeins metið áhrif á tiltekna undirhóp karla sem kallast samanburðarfólk (karlar sem myndu þjóna þegar þeir eru skrifaðir, en myndu ekki þjóna þegar þær eru ekki gerðar) (Angrist, Imbens, and Rubin 1996) . Samsvörendur voru hins vegar ekki upphaflega áhugasamir. Takið eftir að þessi vandamál koma upp jafnvel í tiltölulega hreinu tilfelli af drögunum. Nánari fylgikvillar koma fram þegar meðferð er ekki úthlutað af líkamlegri happdrætti. Til dæmis, í rannsókn Mas og Moretti á gjaldkeri, koma til viðbótar spurningar um þá forsendu að úthlutun jafningja sé í raun handahófi. Ef þetta forsendu var mjög brotið gæti það haft í för með sér áætlanir sínar. Til að álykta að náttúrulegar tilraunir geta verið öflug stefna til að gera orsakasamlegar upplýsingar úr tilraunum sem ekki eru tilraunir og stórar gagnamagnar auka getu okkar til að nýta sér náttúrulegar tilraunir þegar þær eiga sér stað. Hins vegar mun það líklega krefjast mikillar aðgát - og stundum sterkar forsendur - að fara frá hvaða eðli hefur veitt þeim mati sem þú vilt.

Önnur stefna sem ég vil segja þér frá um að gera orsakasamhengi úr gögnum sem ekki eru tilraunir, veltur á því að tölfræðilega leiðrétta gögn sem ekki eru tilraunir til að reyna að reikna fyrir fyrirliggjandi mismun milli þeirra sem gerðu og fengu ekki meðferðina. Það eru margar slíkar aðlögunaraðferðir, en ég mun einbeita mér að einum sem kallast samsvörun . Í samsvörun lítur vísindamaðurinn í gegnum gögn sem ekki eru tilraunir til að búa til pör af fólki sem er svipað nema að maður hafi fengið meðferð og maður hefur ekki það. Í því ferli að passa eru vísindamenn í raun líka pruning ; það er að fella mál þar sem engin augljós samsvörun er. Þannig að þessi aðferð yrði nákvæmari kölluð samsvörun og pruning en ég mun halda áfram með hefðbundna hugtakið: samsvörun.

Eitt dæmi um kraft samsvörunaraðferða við gegnheill gagnrýnin gögn er að finna í rannsóknum á neytendahegðun Liran Einav og samstarfsmanna (2015) . Þeir höfðu áhuga á uppboðum sem eiga sér stað á eBay og í því að lýsa verkum sínum mun ég leggja áherslu á áhrif upphafsverðs uppboðs á uppboði, svo sem söluverði eða líkur á sölu.

Mesta leiðin til að meta áhrif upphafsverðs á söluverði væri að einfaldlega reikna út lokaverðið fyrir uppboð með mismunandi upphafsverði. Þessi aðferð myndi vera í lagi ef þú vildir spá fyrir um söluverðið sem fékk upphafsverð. En ef spurningin þín snertir áhrif upphafsverðs þá mun þessi aðferð ekki virka vegna þess að hún byggir ekki á sanngjörnu samanburði. Uppboð með lægri upphafsverð gætu verið nokkuð frábrugðnar þeim sem eru með hærri upphafsverð (td gætu þær verið fyrir mismunandi tegundir vöru eða með mismunandi tegundum seljenda).

Ef þú ert nú þegar meðvituð um vandamálin sem geta komið upp þegar þú gerir orsakatölur úr gögnum sem ekki eru tilraunir gætir þú sleppt því að sleppa námi og íhugaðu að keyra reit tilraun þar sem þú myndir selja tiltekið atriði - segðu golfklúbbur - með fasta Setja af breytur uppboði-segðu ókeypis sendingar og uppboð opið í tvær vikur-en með handahófi úthlutað upphafsverði. Með því að bera saman markaðsaðferðirnar sem gerðar voru, myndi þessi tilraun á sviði bjóða upp á mjög skýran mat á áhrifum upphafsverðs á söluverði. En þessi mæling myndi aðeins gilda um eina tiltekna vöru og setja uppboðsbreytingar. Niðurstöðurnar gætu verið mismunandi, til dæmis fyrir mismunandi tegundir af vörum. Án sterkrar kenningar er erfitt að framreikna úr þessari eina tilraun til alls kyns mögulegra tilrauna sem gætu hafa verið framkvæmdar. Enn fremur eru tilraunir á vettvangi nægilega dýrar að það væri ómögulegt að keyra hvert afbrigði sem þú gætir viljað reyna.

Öfugt við barnaleg og tilraunaaðferð, tók Einav og samstarfsmenn þriðja nálgun: samsvörun. Helstu bragðarefur í stefnu þeirra er að uppgötva hluti sem svipar til tilraunaverkefni sem þegar hafa átt sér stað á eBay. Til dæmis, mynd 2.8 sýnir nokkrar af 31 skráningar fyrir nákvæmlega sama golfklúbburinn, sem er Taylormade Burner 09 bílstjóri, seldur af nákvæmlega sama seljanda- "fjárhagsáætlun". Hins vegar hafa þessar 31 skráningar nokkuð mismunandi einkenni, svo sem mismunandi byrjun verð, lokadagar og sendingarkostnaður. Með öðrum orðum, það er eins og "budgetgolfer" er að keyra tilraunir fyrir vísindamenn.

Þessar skráningar yfir Taylormade Burner 09 bílstjóri sem seld eru af "budgetgolfer" eru eitt dæmi um samsvörunarsett skráningar, þar sem nákvæmlega sama hluturinn er seldur af nákvæmlega sömu seljanda, en í hvert skipti með aðeins mismunandi eiginleika. Innan á gríðarlegu logs eBay eru bókstaflega hundruð þúsunda samsvörun setur sem felur í sér milljónir skráninga. Þannig, frekar en að bera saman lokaverðið fyrir öll uppboð með tilteknu upphafsverði, samanborið Einav og samstarfsmenn saman í samsvöruðu setum. Til þess að sameina niðurstöður úr samanburði innan þessara hundruð þúsunda samhliða setja, endurspegla Einav og samstarfsmenn upphafsverð og lokaverðið hvað varðar viðmiðunarverð hvers hlutar (td meðalverðsverð). Til dæmis, ef Taylormade Burner 09 bílstjóri hafði viðmiðunargildi $ 100 (byggt á sölu), þá var upphafsverð á $ 10 gefið upp sem 0,1 og endanlegt verð á $ 120 sem 1,2.

Mynd 2.8: dæmi um samsvörun. Þetta er nákvæmlega sama golfklúbburinn (Taylormade Burner 09 Driver) sem seld er af nákvæmlega sama einstaklingi ("fjárhagsáætlun") en sum þessara sölu var gerð undir mismunandi aðstæðum (td mismunandi upphafsverði). Afleiða með leyfi frá Einav et al. (2015) , mynd 1b.

Muna að Einav og samstarfsmenn hefðu áhuga á áhrifum upphafsverðs á uppboði. Í fyrsta lagi notuðu þeir línuleg afturhvarf til að meta að hærra upphafsverð lækki líkurnar á sölu og að hærri upphafsverð hækki lokaverðsverð (háð sölu). Að sjálfsögðu eru þessar áætlanir - sem lýsa línulegu sambandi og eru að meðaltali yfir allar vörur - ekki allt sem er áhugavert. Þá notuðu Einav og samstarfsmenn mikla stærð gagna sinna til að búa til fjölbreyttari lúmskur áætlanir. Til dæmis, með því að meta áhrif sérstaklega fyrir margs konar upphafsverð, komu þeir að því að sambandið milli upphafs og söluverðs er ólínulegt (mynd 2.9). Einkum til að hefja verð á milli 0,05 og 0,85, hefur upphafsverð mjög lítið áhrif á söluverð, niðurstaða sem var algjörlega saknað af fyrstu greiningu sinni. Enn frekar en að meðaltali yfir öll atriði, áætluðu Einav og samstarfsmenn áhrifin af upphafsverði fyrir 23 mismunandi vöruflokka (td gæludýrvörur, rafeindatækni og íþróttaminnifærslur) (mynd 2.10). Þessar áætlanir sýna að fyrir fleiri áberandi hlutum, svo sem upphafsverð, hefur minni áhrif á líkurnar á sölu og meiri áhrif á lokaverðsverð. Frekari, fyrir fleiri vörur sem eru merktar, eins og DVD-diskar, hefur upphafsverð næstum engin áhrif á lokaverðið. Með öðrum orðum, að meðaltali sem sameinar niðurstöður úr 23 mismunandi flokkum af hlutum felur mikilvægt munur á þessum atriðum.

Mynd 2.9: Tengsl milli upphafs útboðs og líkur á sölu (a) og söluverði (b). Það er u.þ.b. línuleg tengsl milli byrjunarverðs og líkur á sölu en ólínuleg tengsl milli upphafs og söluverðs. til að hefja verð á milli 0,05 og 0,85, hefur upphafsverð mjög lítið áhrif á söluverð. Í báðum tilvikum eru samböndin í grundvallaratriðum óháð hlutatölu. Aðlagað frá Einav et al. (2015) , tölur 4a og 4b.

Mynd 2.10: Áætlanir úr hverjum flokki hluta; Fast punktur er áætlun fyrir alla flokka sem sameinuð eru saman (Einav et al. 2015) . Þessar áætlanir sýna að fyrir fleiri áberandi atriði, eins og minnispunkta, hefur upphafsverðin minni áhrif á líkurnar á sölu ( \(x\) -ás) og stærri áhrif á loka söluverð ( \(y\) -ás). Aðlagað frá Einav et al. (2015) , mynd 8.

Jafnvel ef þú hefur ekki sérstaklega áhuga á uppboðum á eBay, þá verður þú að dást að því hvernig þessi mynd 2,9 og mynd 2.10 bjóða upp á meiri skilning á eBay en einföldum áætlunum sem lýsa línulegu sambandi og sameina marga mismunandi vöruflokka. Enn fremur, þótt það væri vísindalega mögulegt að búa til þessar fíngerðar áætlanir með sviðsforsóknum myndi kostnaðurinn gera slíkar tilraunir í raun ómögulegar.

Eins og með náttúrulegar tilraunir eru ýmsar leiðir sem samsvara geta leitt til slæmrar áætlunar. Ég held að stærsta áhyggjuefnið við samsvarandi áætlanir sé að þeir geti verið hlutdrægir af hlutum sem ekki voru notaðir í samsvöruninni. Til dæmis, í helstu niðurstöðum, gerðu Einav og samstarfsmenn nákvæmlega samsvörun á fjórum einkennum: seljanda kennitala, vörulisti, hlutatitill og texti. Ef hlutirnir voru mismunandi á þann hátt sem ekki voru notaðir til að passa, gæti þetta skapað ósanngjarna samanburð. Til dæmis, ef "budgetgolfer" lækkaði verð fyrir Taylormade Burner 09 ökumanninn á veturna (þegar golfklúbbar eru minna vinsælar) þá virðist það að lægra upphafsverð leiði til lægra lokaverðs þegar það er raunin árstíðabundin breyting í eftirspurn. Ein aðferð til að takast á við þetta áhyggjuefni er að reyna margar mismunandi gerðir af samsvörun. Til dæmis endurspegla Einav og samstarfsmenn greiningu sína á meðan að breyta tímalistanum sem notaður var til að passa við (samsvörun setur innifalinn hlutir sem eru til sölu innan eins árs, innan eins mánaðar og samtímis). Sem betur fer fannst þeim svipaðar niðurstöður fyrir alla glugga. Nánari áhyggjuefni um samsvörun stafar af túlkun. Áætlanir frá samsvörun gilda aðeins um samsvörunargögn; Þau gilda ekki um þau mál sem ekki var hægt að passa við. Til dæmis, með því að takmarka rannsóknir sínar við hluti sem voru með margar skráningar, eru Einav og samstarfsmenn áhersluir á fagleg og hálf-fagleg seljendur. Þannig að þegar við túlkum þessar samanburður verðum við að muna að þær eiga aðeins við um þessa undirflokk eBay.

Samsvörun er öflug leið til að finna sanngjarna samanburð í gögnum sem ekki eru tilraunir. Til margra félagsvísindamanna finnst samsvörun næst best að tilraunum, en það er trú sem hægt er að endurskoða, lítillega. Samsvörun í gríðarlegum gögnum gæti verið betra en lítill fjöldi tilraunaverkefna þegar (1) ósamræmi í áhrifum er mikilvægt og (2) mikilvægar breytur sem þarf til að passa saman hafa verið mældar. Tafla 2.4 gefur nokkrar aðrar dæmi um hvernig hægt er að nota samsvörun við stóra gagnasöfn.

Að lokum er erfitt að meta orsakasamhengi úr gögnum sem ekki eru tilraunir, en hægt er að nota aðferðir eins og náttúrulegar tilraunir og tölfræðilegar breytingar (td samsvörun). Í sumum tilvikum geta þessar aðferðir farið illa saman, en þegar þær eru beittar vandlega geta þessar aðferðir verið gagnlegar viðbót við tilraunaaðferðina sem ég lýsi í kafla 4. Að auki virðast þessar tvær aðferðir líklegri til að njóta góðs af vöxti ávallt- á stóru gagnakerfi.