3.4 Tani lati beere

Ọjọ ori-ọjọ ti n ṣe iṣeduro iṣeeṣe ni iṣe nira ati pe o nṣẹda awọn anfani titun fun iṣeduro ti kii ṣe iṣeeṣe.

Ninu itan ti iṣapẹẹrẹ, awọn ọna meji ti o ni idije ti wa: awọn ọna iṣeduro iṣeeṣe ati awọn ọna iṣeduro ti kii ṣe iṣeeṣe. Biotilẹjẹpe a ti lo awọn ọna mejeeji ni awọn ọjọ ibẹrẹ ti awọn ọjọ ibẹrẹ, iṣapẹẹrẹ iṣeeṣe ti wa lati jẹ olori, ati ọpọlọpọ awọn oluwadi awujọpọ ni a kọ lati wo iṣapẹẹrẹ ti kii ṣe iṣeṣeṣe pẹlu iṣaro nla. Sibẹsibẹ, bi emi yoo ṣe apejuwe ni isalẹ, awọn ayipada ti o ṣẹda nipasẹ ọjọ ori-aye fihan pe o jẹ akoko fun awọn awadi lati ṣe atunyẹwo iṣeduro ti kii ṣe iṣe iṣe. Ni pato, iṣapẹẹrẹ iṣeeṣe ti wa ni lile lati ṣe ni iṣe, ati pe apẹẹrẹ ti kii ṣe iṣeeṣe ti wa ni kiakia, ti o din owo, ati pe o dara julọ. Awọn iwadi iwadi ti o yara ju ati awọn ti o din owo ko ni pari ni ara wọn: wọn nmu awọn anfani tuntun bii awọn iwadi ti o lopọ sii ati awọn titobi titobi nla. Fún àpẹrẹ, nípa lílo àwọn ọnà àìṣe-iṣeọmọ Ìṣàkóso Ìṣàkóso Ikẹkọ Kongireson Kọọkan (CCES) ni o ni anfani lati ni awọn alabaṣepọ ni igba mẹwa ni igba diẹ sii ju awọn iwadi iṣaaju lọ nipa lilo iṣeduro iṣeeṣe. Ilana yi ti o tobi julọ jẹ ki awọn oluwadi oloselu ṣe iwadi iyatọ ninu awọn iwa ati ihuwasi laarin awọn ẹgbẹ-alakoso ati awọn ajọṣepọ. Pẹlupẹlu, gbogbo abawọn ti a fi kun yii wa laisi awọn dinkuro ninu awọn idiyele didara (Ansolabehere and Rivers 2013) .

Lọwọlọwọ, ọna pataki julọ lati ṣafihan fun iṣeduro awujọpọ jẹ ami-iṣere iṣeeṣe . Ni apẹẹrẹ iṣeeṣe iṣe, gbogbo awọn ọmọ ẹgbẹ ti o wa ni afojusun ni o mọ, aṣeyọri ti a ko ni idiyele ti a ṣe ayẹwo, ati gbogbo awọn eniyan ti a sampled dahun si iwadi naa. Nigbati awọn ipo wọnyi ba pade, awọn esi mathematiki ti o dara julọ pese awọn ẹri ti o ṣee ṣe nipa iṣelọpọ oluwadi kan lati lo ayẹwo lati ṣe awọn iyatọ nipa awọn eniyan afojusun.

Ni aye gidi, sibẹsibẹ, awọn ipo ti o daba awọn esi mathematiki yii kii ṣe idiwọn. Fun apẹẹrẹ, awọn aṣiṣe iṣeduro ati awọn idahun ko ni igbagbogbo. Nitori awọn iṣoro wọnyi, awọn oluwadi nigbagbogbo ni lati lo awọn orisirisi awọn atunṣe iṣiro lati ṣe iyatọ lati inu ayẹwo wọn si awọn eniyan ti o ni opin wọn. Bayi, o ṣe pataki lati ṣe iyatọ laarin awọn iṣeduro iṣeeṣe ninu ilana , eyi ti o ni awọn ẹri ti o daju, ati iṣeduro iṣeeṣe ni iṣe , eyi ti ko fun iru ẹri bẹ bẹ ati da lori ọpọlọpọ awọn atunṣe iṣiro.

Ni akoko pupọ, awọn iyatọ laarin iṣeduro iṣeeṣe ninu ilana ati iṣapẹẹrẹ iṣeeṣe ninu iwa ti npo sii. Fun apẹẹrẹ, awọn oṣuwọn ti ko dahun ti npọ si ilọsiwaju, paapaa ni didara giga, awọn iwadi iwadi ti o ni gbowolori (nọmba 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Awọn ošuwọn ti ko dahun ni o ga julọ ninu awọn iwadi ti tẹlifoonu-nigbakannaa bii 90% (Kohut et al. 2012) . Awọn abawọn wọnyi ni aiyipada ko ṣe idaniloju didara awọn nkan nitori awọn idiyele ti o gbẹkẹle awọn ilana iṣiro ti awọn oluwadi nlo lati ṣatunṣe fun idahun. Siwaju si, awọn ilọkuro wọnyi ni didara ti sele pelu awọn igbiyanju gbowolori ti o gbowolori nipasẹ awọn oluwadi iwadi lati ṣetọju awọn iṣiro giga. Diẹ ninu awọn eniyan bẹru pe awọn iṣiro meji ti irẹwẹsi dinku ati iye owo ti npo si ipalara ipilẹ iwadi iwadi (National Research Council 2013) .

Atọka 3.5: Awọn idahun ti n tẹsiwaju sii ni imurasilẹ, paapaa ninu awọn iwadi iwadi ti o gaju (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Awọn ošuwọn ti ko dahun ni o ga julọ fun awọn iwadi ti foonu alagbeka, nigbakannaa bi giga 90% (Kohut et al. 2012) . Awọn ilọsiwaju igba pipẹ ni idahun ko tumọ si pe gbigba data jẹ diẹ ti o niyelori ati pe awọn iṣiro ko ni igbẹkẹle. Ti a yọ lati BD Meyer, Mok, and Sullivan (2015) , nọmba 1.

Ni akoko kanna ti awọn iṣoro ti n dagba sii fun awọn ọna itọnisọna iṣeeṣe, awọn igbasilẹ ti o ni igbadun tun wa ni awọn ọna ipilẹ ti kii ṣe iṣeṣe . Ọpọlọpọ awọn aza ti awọn ọna ipilẹ-iṣeeṣe iṣeeṣe, ṣugbọn ohun kan ti wọn ni wọpọ ni pe wọn ko le ni iṣeduro ni iṣedede ilana ẹkọ mathematiki ti iṣapẹẹrẹ iṣeeṣe (Baker et al. 2013) . Ni gbolohun miran, ninu awọn ọna ipilẹ ti kii ṣe iṣeemẹẹrẹ kii ṣe gbogbo eniyan ni o ni iyasọtọ ti a mọ ati ti kii jẹ ki o ni ifisihan. Awọn ọna ipilẹ ti kii ṣe iṣeeṣe kan ni orukọ ti o ni ẹru laarin awọn oluwadi awujọ ati pe wọn ni nkan ṣe pẹlu awọn ikuna ti o ṣe pataki julọ fun awọn oluwadi iwadi, gẹgẹbi Literary Digest fiasco (ti a sọ tẹlẹ) ati "Dewey Defeats Truman," asọtẹlẹ ti ko tọ nipa US. idibo idibo ti 1948 (nọmba 3.6).

Ẹya 3.6: Aare Harry Truman ti o gba akọle ti irohin kan ti o ti kede kede rẹ. Ori akọle yii da lori apakan lori awọn nkan lati awọn ayẹwo ti kii ṣe iṣeeṣe (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Biotilejepe "Dewey Defeats Truman" ṣẹlẹ ni 1948, o tun wa ninu idi ti diẹ ninu awọn oniwadi wa ni ṣiyemeji nipa awọn idiyele lati awọn ayẹwo kii-iṣeeṣe. Orisun: Harry S. Truman Library & Museum .

Ẹrọ kan ti kii ṣe ami-iṣeeṣe ti o ṣe pataki fun ọjọ ori-ọjọ jẹ lilo awọn paneli ayelujara . Awọn oluwadi ti nlo awọn paneli ayelujara ti o gbẹkẹle diẹ ninu awọn olupese iṣẹ-ni igbagbogbo ile-iṣẹ kan, ijọba, tabi ile-ẹkọ giga-lati ṣe iru ẹgbẹ ti o tobi, ti o yatọ si awọn eniyan ti o gba lati sin bi awọn olufisun fun awọn iwadi. Awọn alabapade awọn alakoso yii ni a gba kọnputa nigbagbogbo nipa lilo awọn ọna ipolowo ipolowo bii awọn ipolongo asia lori ayelujara. Lẹhin naa, oluwadi kan le sanwo olupese iṣẹ ipese fun wiwọle si apẹẹrẹ awọn ti o dahun pẹlu awọn ami ti o fẹ (eg, aṣoju orilẹ-ede ti agbalagba). Awọn paneli ayelujara yii jẹ awọn ọna iṣe kii-iṣeeṣe nitori pe ko ni gbogbo eniyan ni o mọ, iṣeeṣe ti kii še ailewu ti ifisi. Biotilẹjẹpe awọn alailowaya ayelujara ti kii ṣe iṣeeṣe ti wa ni tẹlẹ ti lo nipasẹ awọn oluwadi awujọ (fun apẹẹrẹ, CCES), ṣiṣiroye tun wa nipa didara awọn nkan ti o wa lati ọdọ wọn (Callegaro et al. 2014) .

Pelu awọn ijiroro wọnyi, Mo ro pe awọn idi meji ni o wa ti akoko ti tọ fun awọn oluwadi awujọ lati ṣe atunyẹwo iṣeduro ti kii ṣe iṣe iṣe. Ni akọkọ, ni ọjọ oni-nọmba, ọpọlọpọ awọn iṣẹlẹ ti o wa ninu gbigba ati iwadi ti awọn ayẹwo kii ṣe iṣeeṣe. Awọn ọna tuntun yii ni o yatọ si lati awọn ọna ti o fa awọn iṣoro ni akoko ti o ti kọja ti Mo ro pe o jẹ oye lati ronu wọn gẹgẹbi "ami-iṣe iṣeṣeṣe-iṣeṣe 2.0". Idi keji ti awọn oniwadi yẹ lati tun tun ṣe ayẹwo iṣe-iṣe iṣeṣeṣe jẹ nitori iṣeemẹẹrẹ iṣeeṣe ni iwa ti wa ni isoro pupọ. Nigba ti o wa awọn oṣuwọn giga ti awọn kii-idahun-bi awọn igbasilẹ gidi wa bayi-awọn aiṣe gangan ti ifisi fun awọn alatako ko mọ, ati bayi, awọn ayẹwo iṣeeṣe ati awọn ayẹwo aiṣe-iṣeeṣe ko yatọ si bi awọn oluwadi ti gbagbọ.

Gẹgẹbi mo ti sọ tẹlẹ, awọn ayẹwo ti kii ṣe iṣeeṣe ni a rii pẹlu iṣaro nla nipasẹ ọpọlọpọ awọn oluwadi awujọ, ni apakan nitori ipa wọn ninu diẹ ninu awọn ikuna ti o ni ẹgan ni awọn ọjọ ibẹrẹ ti iwadi iwadi. Apeere ti o jẹ apẹẹrẹ ti bi a ti wa pẹlu awọn ayẹwo ti kii ṣe iṣeeṣe jẹ iwadi nipasẹ Wei Wang, David Rothschild, Sharad Goel, ati Andrew Gelman (2015) pe pe o ti ṣe atunṣe abajade ti idibo US ni ọdun 2012 pẹlu lilo ayẹwo ti kii ṣe iṣeemẹẹrẹ Awọn olumulo Xbox ti Amẹrika-aṣoju ti aṣeyọri ti America. Awọn oluwadi ti gba awọn alatunwo lati inu ẹrọ ere XBox, ati bi o ṣe le reti, awọn ọmọde ti Xbox ati awọn ọmọde ti o fi silẹ: Awọn ọmọ ọdun 18 si 29 le jẹ 19% ti awọn oludibo ṣugbọn 65% ti apẹẹrẹ Xbox, ati awọn ọkunrin ṣe 47% ti awọn oludibo ṣugbọn 93% ti ayẹwo Xbox (nọmba 3.7). Nitori awọn idiyele ti awọn eniyan ti o lagbara, data Xbox apẹrẹ jẹ akọsilẹ ti ko dara ti awọn idibo idibo. O ṣe asọtẹlẹ agbara nla fun Mitt Romney lori Barrack Obama. Lẹẹkansi, eyi jẹ apẹẹrẹ miiran ti awọn ewu ti awọn aṣeyọri aise, awọn aiṣe-aṣeṣeṣe ti a ko ni atunṣe ati ti a ṣe atunṣe ti Literary Digest fiasco.

Ẹya 3.7: Awọn iṣesi-ara eniyan ti awọn idahun ni W. Wang et al. (2015) . Nitori awọn oluṣe idahun ti a gba lati XBox, wọn o le ṣe awọn ọdọ ati pe o le ṣe ọkunrin, ibatan si awọn oludibo ni idibo 2012. Ada lati W. Wang et al. (2015) , nọmba 1.

Sibẹsibẹ, Ọgbẹni ati awọn alabaṣiṣẹpọ mọ awọn iṣoro wọnyi ati pe o gbiyanju lati ṣatunṣe fun ilana iṣan-samisi ti kii ṣe ayẹwo ti wọn kii ṣe deede nigbati o ba ṣe awọn idiyele. Ni pato, wọn lo iṣelọpọ post , ilana kan ti o tun lo ni lilo lati ṣatunṣe awọn ayẹwo iṣeeṣe ti o ni awọn aṣiṣe awọn iṣeduro ati ti kii ṣe idahun.

Akọkọ ero ti post-stratification ni lati lo awọn alaye iranlọwọ nipa awọn eniyan afojusun lati ṣe iranlọwọ lati mu didara ti o wa lati apẹẹrẹ kan. Nigbati o ba lo iyasọtọ lati ṣe iyasọtọ lati inu apẹẹrẹ ti kii ṣe iṣeeṣe wọn, Wang ati alabaṣiṣẹpọ ge awọn eniyan pọ si awọn ẹgbẹ ọtọọtọ, ṣe ipinnu igbẹkẹle fun obaba ni ẹgbẹ kọọkan, lẹhinna gba iwọn apapọ ti awọn ipinnu ẹgbẹ lati ṣe iṣeduro gbogbo agbaye. Fun apẹẹrẹ, wọn le pin awọn eniyan si awọn ẹgbẹ meji (awọn ọkunrin ati awọn obinrin), ṣe idasile atilẹyin fun obaba laarin awọn ọkunrin ati awọn obirin, lẹhinna ṣe ipinnu igbẹhin gbogboogbo fun obaa nipa gbigbe iwọn apapọ kan lati ṣe akọsilẹ fun otitọ pe awọn obirin ṣe 53% ti awọn oludibo ati awọn ọkunrin 47%. Pẹlupẹlu, ipasẹyinyin iranlọwọ ṣe atunṣe fun ayẹwo ti a ko ni idiwọn nipa gbigbe awọn alaye iranlọwọ nipa titobi awọn ẹgbẹ.

Awọn bọtini lati firanṣẹ-stratification ni lati dagba awọn ẹgbẹ ọtun. Ti o ba le gige awọn eniyan pọ si awọn ẹgbẹ iṣọkan gẹgẹbi awọn ohun elo idahun kanna jẹ fun gbogbo eniyan ni ẹgbẹ kọọkan, lẹhinna fifọ-gbigbe yoo gbe awọn isọsọ ti ko ni iyasọtọ. Ni gbolohun miran, ifiranṣẹ nipa ifisun yoo gbe awọn ipinnu ti ko ni iyasilẹ ti o ba jẹ pe gbogbo awọn ọkunrin ni idahun idahun ati pe gbogbo awọn obirin ni o ni ọna kanna. Eyi ni a npe ni iṣiro-ọna-ọna-inu-inu-laarin awọn ẹgbẹ , ati pe mo ṣajuwe rẹ diẹ diẹ ninu awọn akọsilẹ mathematiki ni opin ori ori yii.

Dajudaju, o dabi ẹnipe pe awọn ohun elo idahun yio jẹ kanna fun gbogbo awọn ọkunrin ati gbogbo awọn obirin. Sibẹsibẹ, awọn ifarahan-idahun-awọn ohun-ara-laarin-ẹgbẹ ti o pọju diẹ sii bi iye awọn ẹgbẹ ṣe mu. Ni irẹwẹsi, o di rọrun lati gige awọn eniyan sinu awọn ẹgbẹ ti o dapọ bi o ba ṣẹda awọn ẹgbẹ diẹ sii. Fun apẹẹrẹ, o le dabi ohun ti o ṣeeṣe pe gbogbo awọn obirin ni o ni irufẹ idahun kanna, ṣugbọn o le dabi diẹ ti o peye pe iyatọ idahun kanna fun gbogbo awọn obinrin ti o wa ni ọdun 18-29, ti o tẹwé lati kọlẹẹjì, ati awọn ti n gbe ni California . Bayi, gẹgẹbi nọmba awọn ẹgbẹ ti o lo ni igbesẹ lẹhin ti o tobi ju, awọn ero ti a nilo lati ṣe atilẹyin ọna naa di diẹ ti o rọrun. Fun otitọ yii, awọn oluwadi nigbagbogbo fẹ lati ṣẹda nọmba ti o pọju fun awọn ẹgbẹ fun post-stratification. Sibẹsibẹ, bi nọmba awọn ẹgbẹ ṣe n pọ sii, awọn oluwadi nsare si iṣoro miiran: data sparsity. Ti ko ba si nọmba kekere ti awọn eniyan ni ẹgbẹ kọọkan, lẹhinna awọn idiyele yoo jẹ diẹ ailewu, ati ni ipo nla ti o wa ẹgbẹ kan ti ko ni awọn idahun, lẹhinna post-stratification patapata ba kuna.

Awọn ọna meji wa lati inu iyọda aifọkanyi yii laarin iyatọ ti iṣeduro idaniloju-idahun-laarin-ẹgbẹ-laarin-ẹgbẹ ati wiwa fun awọn titobi pataki ni ẹgbẹ kọọkan. Ni akọkọ, awọn oluwadi le ṣafihan titobi ti o tobi, diẹ ẹ sii, ti o ṣe iranlọwọ lati rii awọn titobi ti o yẹ ni ẹgbẹ kọọkan. Keji, wọn le lo awoṣe iṣiro ti o ni imọran diẹ sii fun ṣiṣe awọn nkan laarin awọn ẹgbẹ. Ati pe, ni otitọ, awọn oluwadi kan n ṣe awọn mejeeji, bi Wang ati awọn ẹlẹgbẹ ṣe pẹlu iwadi wọn nipa idibo nipa lilo awọn oluranlowo lati Xbox.

Nitori wọn nlo ọna-ọna ipilẹ-aṣeṣe ti kii ṣe iṣeeṣe pẹlu awọn ijomitoro ti a ṣe nipasẹ kọmputa (Emi yoo sọrọ diẹ sii nipa awọn ijomitoro ti a ṣe ni kọmputa ni apakan 3.5), Wang ati awọn alabaṣiṣẹpọ ti ni itupalẹ data gbigba, eyiti o jẹ ki wọn gba iwifun lati awọn alabaṣepọ ti o rọrun 345,858 , nọmba ti o pọju nipasẹ awọn ipo idibo idibo. Iwọn titobi nla yi ṣe o fun wọn laye lati dagba nọmba ti o pọju awọn ẹgbẹ ẹgbẹ ifiweranṣẹ. Bi o ti jẹ pe igbasilẹ lẹhin ifiweranṣẹ ranṣẹ ni titẹ awọn eniyan pọ si awọn ẹgbẹgbẹrun awọn ẹgbẹ, Wang ati awọn alabaṣiṣẹpọ pin awọn eniyan si awọn ẹgbẹ 176,256 ti a ṣalaye nipasẹ abo (ẹka meji), ije (awọn ẹka mẹrin), ọjọ ori (awọn ẹka mẹrin), ẹkọ (awọn ẹka mẹrin), ipinle (51 awọn ẹka), ID ID (awọn ẹka mẹta), alagbaro (awọn ẹka mẹta), ati Idibo 2008 (awọn ẹka mẹta). Ni gbolohun miran, titobi nla wọn, eyiti o ṣe iranlọwọ nipasẹ gbigba data niti iye owo, ti jẹ ki wọn ṣe idibajẹ diẹ ti o rọrun diẹ ninu ilana isanmọ wọn.

Paapaa pẹlu awọn alabaṣepọ ti o yatọ si 345,858, sibẹsibẹ, ọpọlọpọ awọn ẹgbẹ ti o tun wa, eyiti Wang ati awọn ẹlẹgbẹ ko fẹrẹ si awọn oluṣe. Nitorina, wọn lo ilana kan ti a npe ni ifunni ọpọlọ lati ṣe iṣiro atilẹyin ni ẹgbẹ kọọkan. Ni pataki, lati ṣe iṣiro fun atilẹyin fun Obama laarin ẹgbẹ kan, iṣeduro ti ọpọlọ ti o ni alaye lati ọpọlọpọ awọn ẹgbẹ ti o ni ibatan. Fun apẹẹrẹ, fojuinu gbiyanju lati ṣe iṣiro fun atilẹyin fun Oba ma laarin awọn ọmọbirin Sabati laarin awọn ọdun 18 ati 29, ti o jẹ awọn ọmọ ile-iwe giga kọlẹẹjì, ti wọn ṣe alakoso Awọn alagbawi ijọba, ti o ni ara wọn gẹgẹbi awọn ipo, ati awọn ti o dibo fun oba ni 2008. Eleyi jẹ gidigidi , ẹgbẹ pataki kan, ati pe o ṣeeṣe pe ko si ẹnikan ninu ayẹwo pẹlu awọn abuda wọnyi. Nitorina, lati ṣe asọye nipa ẹgbẹ yii, iṣeduro titẹ pupọ nlo awoṣe iṣiro kan lati ṣajọpọ awọn nkanro lati ọdọ awọn eniyan ni awọn ẹgbẹ irufẹ.

Bayi, Wang ati awọn alabaṣiṣẹpọ lo ọna kan ti o ni idapo pupọ pẹlu igbesẹ ati ipilẹṣẹ, nitorina ni wọn ṣe pe igbesi-ọrọ igbiyanju ọpọlọ pẹlu igbesi-afẹfẹ tabi diẹ sii, "Ọgbẹni. P. "Nigba ti Wang ati awọn ẹlẹgbẹ lo Mr. P. lati ṣe iyasọtọ lati inu ayẹwo ti kii ṣe iṣe iṣeeṣe XBox, wọn ṣe awọn eroye ti o sunmọ fereto support ti Obaba gba ni idibo ti ọdun 2012 (nọmba 3.8). Ni otitọ, awọn idiyele wọn ṣe deede ju idajọ ti awọn idibo ti awọn eniyan ti ibile. Bayi, ni idi eyi, awọn atunṣe iṣiro-pataki Ọgbẹni P.-dabi pe lati ṣe iṣẹ ti o dara ti o ṣe atunṣe awọn iyasọtọ ni data kii ṣe iṣe iṣeeṣe; ipalara ti o han kedere nigba ti o ba wo awọn idiyele lati data Xbox ti a ko ṣatunṣe.

Atunwo 3.8: Iṣiro lati W. Wang et al. (2015) . Aṣiṣe ayẹwo XBox ti ko ni atunṣe ṣe awọn nkanro ti ko tọ. Ṣugbọn, ayẹwo ti o wa ni XBox ti o ṣe ayẹwo ti o ṣe deede ju iwọn apapọ awọn iwadi iwadi ti ipasẹ-ṣiṣe. Ada lati W. Wang et al. (2015) , awọn nọmba 2 ati 3.

Awọn ẹkọ pataki meji ni lati inu iwadi ti Wang ati awọn ẹlẹgbẹ rẹ. Akọkọ, awọn aiṣe-aṣeṣe ti ko ni aiṣe-aiṣe-aṣeyọri le mu ki awọn idiyele buburu; eyi jẹ ẹkọ ti ọpọlọpọ awọn awadi ti gbọ ṣaaju. Ẹkọ keji, sibẹsibẹ, ni pe awọn ayẹwo aiṣe-iṣeeṣe, nigba ti a ṣayẹwo daradara, le mu awọn iṣeyeye rere; awọn ayẹwo aiṣe-iṣeeṣe ko yẹ ki o mu si nkan bi Literary Digest fiasco.

Ti nlọ siwaju, ti o ba n gbiyanju lati pinnu laarin lilo ọna-ọna ipasẹ iṣeeṣe kan ati ọna-iṣere ti kii ṣe iṣe iṣeeṣe kan ti o koju ipinnu iṣoro. Nigbami awọn oluwadi n fẹ imuduro rirọ ati iṣeduro (fun apẹẹrẹ, nigbagbogbo lo awọn ọna iṣeduro iṣeeṣe), ṣugbọn o nira pupọ lati pese iru ofin bẹẹ. Awọn oluwadi niju ipinnu iṣoro laarin awọn ọna iṣeduro iṣeeṣe ni iwa-eyi ti o jẹ gbowolori pupọ ati ti o jina lati awọn esi ti o ṣe alaye ti o wulo awọn ọna-lilo ati ti iṣe-iṣeeṣe-eyi ti o din owo ati yiyara, ṣugbọn ti ko ni iyasọtọ ati diẹ sii. Ọkan ohun ti o ṣalaye, sibẹsibẹ, ni pe ti o ba ni agbara mu lati ṣiṣẹ pẹlu awọn apẹẹrẹ awọn aiṣe-iṣeeṣe tabi awọn orisun data pataki ti kii ṣe ifihan ti ara (ro pada si Orukọ 2), lẹhinna o wa idi pataki kan lati gbagbọ pe awọn iṣe ti a ṣe nipa lilo igbejade lẹhin Awọn imuposi ti o nii ṣe yoo dara ju aiṣe atunṣe, ipinnu aṣeye.