2.4.1 agụta ihe

Simple agụta nwere ike ịbụ na-akpali ọ bụrụ na ị na ikpokọta a ezigbo ajụjụ ezi data.

Ọ bụ ezie na ọ na-adaba na asụsụ ndị nwere nkà, ọtụtụ nyocha nke mmadụ bụ n'ezie ịgụ ihe. N'ọgbọ nke nnukwu data, ndị nchọpụta nwere ike ịgụ karịa karịa mgbe ọ bụla, ma nke ahụ apụtaghị na ha kwesịrị ịmalite ịgụta ihe na-adịghị mma. Kama nke ahụ, ndị na-eme nnyocha kwesịrị ịjụ, sị: Olee ihe ndị dị ọnụ ahịa? Nke a nwere ike iyi ka ọ bụ ihe gbasara ihe niile, ma e nwere usoro ihe ndị ọzọ.

Ọtụtụ mgbe, ụmụ akwụkwọ na-akwalite nyocha ha site n'ikwu, sị: M ga-agụta ihe ọ bụla ọbụla na-agụtụbeghị. Dịka ọmụmaatụ, nwa akwụkwọ nwere ike ịsị na ọtụtụ ndị amụrụ ndị mbata na ọtụtụ ndị mụọ ụmụ ejima, ma ọ dịghị onye mụọ ụmụ ejima. Na ahụmahụ m, atụmatụ a, nke m na-akpọ mkpali site na enweghị , adịghị emekarị nyocha dị mma. Mkpali site n'enyeghị ya bụ ụdị nke ịsị na enwere oghere n'ebe ahụ, aga m arụsi ọrụ ike iji mejupụta ya. Mana ọ bụghị ọ bụla oghere ka ị ga-ejupụta.

Kama inwe mkpali site na enweghị, echere m na atụmatụ ka mma bụ ịchọpụta ajụjụ ndị dị mkpa ma ọ bụ ihe dị mma (ma ọ bụ ha abụọ). Okwu abuo abuo a siri ike ikwuputa, mana otu uzo isi eche echiche banyere ihe di mkpa bu na o nwere mmetuta nke puru ime ma o bu tinye aka n'ime mkpebi di mkpa site n'aka ndi mebiri iwu. Dịka ọmụmaatụ, ịlele ọnụego nke enweghị ọrụ dị mkpa n'ihi na ọ bụ ihe na-egosi ọnọdụ akụ na ụba nke na-eme mkpebi mkpebi. N'ozuzu, echere m na ndị nchọpụta nwere ezi uche nke ihe dị mkpa. Ya mere, na mpaghara nke a, Aga m enye ihe atụ abụọ ebe m chere na ịgụta ọnụ dị mma. N'ọnọdụ nke ọ bụla, ndị nchọpụta ahụ adịghị atụ egwu na-adịghị mma; kama nke ahụ, ha na-atụgharị na ntọala dị nnọọ mkpa nke kpughere nghọta dị mkpa banyere echiche ndị ọzọ n'ozuzu banyere otu usoro usoro mmekọrịta mmadụ na ibe ya si arụ ọrụ. N'ikwu ya n'ụzọ ọzọ, ọtụtụ ihe na-eme ka ndị a gụpụta ihe na-adọrọ mmasị abụghị data n'onwe ya, ọ na-esite na ntụle ndị a n'ozuzu ha.

Otu ihe atụ nke ike dị n'ịgụ ọnụ sitere na nchọpụta Henry Farber (2015) banyere omume nke ndị ọkwọ ụgbọala taxi New York City. Ọ bụ ezie na otu a enweghị ike ịmasị mmasị na-adọrọ mmasị, ọ bụ saịtị nyocha maka usoro iji nyochaa echiche abụọ na-arụ ọrụ na akụ na ụba. Maka nzube nke nnyocha Farber, enwere ihe abụọ dị mkpa gbasara ebe ọrụ nke ndị ọkwọ ụgbọala na-arụ ọrụ: (1) ụgwọ ọrụ awa ha na-agbanwe site n'ụbọchị ruo n'ụbọchị, dabere na akụkụ nke ihe dị ka ihu igwe, na (2) ọnụ ọgụgụ nke awa ha ọrụ nwere ike ịgbanwe kwa ụbọchị dabere na mkpebi ha. Atụmatụ ndị a na-eduga ajụjụ na-adọrọ mmasị banyere mmekọrịta dị n'etiti ụgwọ ọrụ awa na oge ọrụ. Ụdị Neoclassical na akụnụba na-ekwu na ndị ọkwọ ụgbọ ala ga-arụ ọrụ karịa n'ụbọchị ha nwere ụgwọ ọrụ dị elu. N'aka nke ọzọ, ụdị si n'ọnọdụ akụ na ụba na-ekwu kpọmkwem ihe dị iche. Ọ bụrụ na ndị ọkwọ ụgbọala setịpụrụ ego-ego $ 100 kwa ụbọchị-ma rụọ ọrụ ruo mgbe e zutere ihe ahụ, mgbe ahụ, ndị ọkwọ ụgbọala ga-akwụsị ịrụ ọrụ ole na ole na ụbọchị ha na-enwetakwu ihe. Dịka ọmụmaatụ, ọ bụrụ na ị bụ onye na-akwụ ụgwọ, ị nwere ike ịkwụsị ịrụ ọrụ awa anọ n'ụbọchị ezigbo ($ 25 kwa awa) na awa ise n'ụbọchị ọjọọ ($ 20 kwa elekere). Ya mere, ndị ọkwọ ụgbọala na-arụ ọrụ ọtụtụ awa na ụbọchị nwere ụgwọ ọrụ kachasị elu (dịka usoro nnooclassical na-atụle) ma ọ bụ karịa awa na ụbọchị na ụgwọ ụgwọ obere oge (dị ka agbụrụ na-egosipụta n'ụdị akụ na ụba)?

Iji zaa ajụjụ a, Farber nwetara data na njem ọ bụla a na-akwụ n'ụgbọ njem nke New York City cabs si 2009 ruo 2013, data ndị dị ugbu a n'ihu ọha. Ihe ndekọ ndị a-nke a na-anakọta site na igwe eletrọniki na obodo chọrọ taxis iji mee ihe-gụnyere ozi gbasara njem ọ bụla: malite oge, malite ebe, njedebe oge, ọnọdụ njedebe, ego, na ọnụ (ọ bụrụ na akwụ ụgwọ ahụ na kaadị akwụmụgwọ) . Site na iji data mita mpempe akwụkwọ a, Farber chọpụtara na ọtụtụ ndị ọkwọ ụgbọala na-arụ ọrụ na ụbọchị mgbe ụgwọ ọrụ dị elu, na-adabere na teknụzụ neoclassical.

Na mgbakwunye na nchọpụta a bụ isi, Farber nwere ike iji ọnụ ọgụgụ nke data maka nghọta dị mma banyere ụdị dị iche iche na ọnọdụ dị iche iche. Ọ chọpụtara na, ka oge na-aga, ndị ọkwọ ụgbọala ọhụrụ ji nwayọọ nwayọọ na-amụta ịrụ ọrụ ruo ọtụtụ awa na ụbọchị ụgwọ dị elu (dịka ọmụmaatụ, ha na-amụta iji akpa àgwà dị ka amụma ndị na-adịghị ahụkebe). Ndị ọkwọ ụgbọala ọhụụ ndị na-akpa àgwà dị ka ndị na-akpata ego ga-akwụsị ịhapụ ndị ọkwọ ụgbọala. Ihe omuma ndia ndi ozo di nma, nke nyere aka igosiputa omume nke ndi ndu ugbua, enwere ike ime n'ihi uzo dataset. Ha agaghị enwe ike ịchọpụta na nchọpụta mbụ nke jiri akwụkwọ eji eme njem akwụkwọ site na obere ndị na-anyazi ndị taxi n'oge dị mkpirikpi (Camerer et al. 1997) .

Nnyocha ọmụmụ Farber dị nso na ihe kacha mma maka nchọpụta site na iji nnukwu data n'ihi na data ndị obodo ahụ nakọtara dị nnọọ nso na data ahụ Farber ga-anakọtara (otu dị iche bụ na Farber gaara achọ data na mkpokọta ụgwọ-akwụ ụgwọ-agbakwunye na atụmatụ-mana data obodo gụnyere ntụrụndụ kwụrụ ụgwọ site n'aka kaadị akwụmụgwọ). Otú ọ dị, naanị data ahụ ezughị. Isi ihe nyocha nke Farber na-eweta ajụjụ na-adọrọ mmasị na data ahụ, ajụjụ nke nwere mmetụta dị ukwuu karịa nke a kpọmkwem ọnọdụ a.

Ihe atụ nke abụọ nke ịkọ ihe sitere n'aka Gary King, Jennifer Pan, na Molly Roberts (2013) na nchịkwa nke gọọmenti China. N'okwu a, Otú ọ dị, ndị nchọpụta ahụ ga-enwetakwu nnukwu data ha ma ha ghaghị iji eziokwu ahụ na data ha ezughị ezu.

Ndị eze na ndị ọrụ ibe ha kpaliri eziokwu ahụ bụ na ọtụtụ ụlọ ọrụ mgbasaozi na-elekọta ndị mmadụ na China na-atụle ọtụtụ iri puku mmadụ. Otú ọ dị, ndị nchọpụta na ụmụ amaala adịghị enwe mmetụta nke ihe ndị a censors na-ekpebi ihe ọdịnaya ga-ehichapụ. Ndị ọkà mmụta nke China nwere atụmanya dịgasị iche iche banyere ụdị nke posts dị ka ọ ga-ehichapụ. Ụfọdụ na-eche na censors na-elekwasị anya na posts ndị dị egwu na steeti, ebe ndị ọzọ na-eche na ha na-elekwasị anya na posts na-agba ume omume mkpokọta, dịka mkpesa. Ichepụta ihe ndị a na-atụ anya ya ziri ezi na-emetụta otú ndị na-eme nchọpụta si aghọta China na ndị ọchịchị aka ike ndị ọzọ na-etinye aka na nnyocha. Ya mere, Eze na ndị ọrụ ibe ha chọrọ iji akwụkwọ ndị e bipụtara ma sụgharịa ya na posts ndị e bipụtara na ha anaghị ehichapụ.

Ịnakọta ndị a posts aka ịtụnanya engineering feat nke crawling ihe karịrị 1,000 Chinese mmadụ mgbasa ozi weebụsaịtị-kwa dị iche iche na peeji nke layouts-achọta mkpa posts, na mgbe ahụ akafiak ekese ndị a posts ịhụ nke e mechara ehichapụ. Na mgbakwunye na nkịtị engineering nsogbu metụtara na nnukwu ọnụ ọgụgụ web-crawling, nke a oru ngo nwere kwukwara ihe ịma aka nke na ọ dị mkpa ịkpachara nnọọ ngwa ngwa n'ihi na ọtụtụ enyochakwa posts na-ebutu na-erughị 24 awa. Ndị ọzọ okwu, a ngwa ngwa crawler ga na-atụ uche nza nke posts a na-enyochakwa. Ọzọkwa, crawlers nwere ime ihe nile a data collection mgbe evading nchọpụta aghara ime ka mmadụ mgbasa ozi weebụsaịtị igbochi ohere ma ọ bụ n'ụzọ na-agbanwe ha atumatu omume na-amụ ihe.

Ka ọ na-erule oge arụrụ ọrụ a dị ukwuu, Eze na ndị ọrụ ibe ha nwetara ihe dịka ndeji iri na otu na posts dị iche iche dị iche iche dị iri asatọ na asatọ, onye nke ọ bụla na-enwe ọgụgụ isi. Dịka ọmụmaatụ, isiokwu nke nnukwu uche bụ Ai Weiwei, onye na-eme ihe nkiri; otu isiokwu nke inwe uche dị n'etiti bụ ekele na nhụzi ego nke ego ndị China, otu isiokwu nke dị ala bụ iko ụwa. N'ime nde iri na otu a, ihe dị ka nde mmadụ abụọ emetụla. N'ụzọ dị ịtụnanya, Eze na ndị ọrụ ibe gị chọpụtara na ọ bụ naanị obere oge ka a na-eleba anya n'ihe gbasara isiokwu ndị dị oke na nke dị ala. N'ikwu ya n'ụzọ ọzọ, ihe nkiri censors nke China yiri ka ọ ga-achọ ịchọta ọkwa nke kwuru Ai Weiwei dịka ọkwa na-ekwu banyere iko ụwa. Nchọpụta ndị a anaghị akwado echiche ahụ na gọọmentị gọọmentị niile na-etinye aka na isiokwu ndị dị nro.

Ogologo oge a nke nchikota onu ogugu site na isiokwu nwere ike iduhie. Dịka ọmụmaatụ, gọọmenti nwere ike ịchọta posts ndị na-akwado Ai Weiwei, mana hapụ ihe ndị na-akatọ ya. Iji chọpụta ọdịiche dị n'etiti posts na nlezianya, ndị nchọpụta chọrọ iji nyochaa mmetụta nke ọkwa ọ bụla. O bu ihe nwute, n'agbanyeghi otutu oru, uzo bu ihe eji eme ihe n 'ugwo nke ichogharia site na iji edeputa ihe di iche iche adighi adi nma na otutu nsogbu (chegharia na nsogbu nke na emeputa usoro usoro nche nke September 11, 2001 nke akowawara na § 2.3.9). Ya mere, Eze na ndị ọrụ ibe ha chọrọ ụzọ ha ga - esi kpọọ nde mmadụ iri na otu mgbasa ozi mgbasa ozi ma ọ bụ na ha (1) na - akatọ ala, (2) na - akwado ala, ma ọ bụ (3) akụkọ na - adịghị mkpa ma ọ bụ eziokwu banyere ihe ndị ahụ. Nke a dị ka nnukwu ọrụ, ma ha edozi ya site na iji aghụghọ dị omimi na sayensi sayensị kama ọ dị obere na nkà mmụta sayensị: nlekọta anya ; lee ọgụgụ 2.5.

Nke mbụ, na nzọụkwụ a na - akpọ preprocessing , ndị nyocha ahụ gbanwere ozi mgbasa ozi na nkeji akwụkwọ , ebe e nwere otu akara maka akwụkwọ ọ bụla na otu kọlụm nke dekọtara ma post ahụ nwere okwu kpọmkwem (dịka, mkpesa ma ọ bụ okporo ụzọ) . Ọzọ, otu ìgwè nke ndị na-enyere aka na-enyere aka na-akpọ aka na-emetụ ihe nlele nke posts. Mgbe ahụ, ha jiri akara a na-ede aha iji mepụta ihe omumu nke ngwa ngwa nke nwere ike ime ka echiche nke post na-adabere na njirimara ya. N'ikpeazụ, ha jiri ihe atụ a mee atụmatụ echiche nke ihe niile nde iri na otu.

Ya mere, karia iji aka na-aguta ma na-edebanye aha nke nde 11-nke a ga-adighi ekwe omume-Eze na ndi otu ibe gi jiri aka ha choo obere onu ogugu ma jirizie nlezianya muta ihe iji kwuputa echiche nke ihe nile. Mgbe ha mechara nyochaa a, ha kwubiri na, dịka ihe ijuanya, enweghi ike ịchọta ozi na-ehichapụghị ma ọ bụrụ na ọ dị njọ na steeti ma ọ bụ kwado obodo.

Ntụle nke 2.5: Usoro nchịkọta dị mfe nke usoro nke King, Pan, and Roberts (2013) jiri kwupụta echiche nke nde mmadụ iri na otu na ndị ọrụ mgbasa ozi nke ndị China. Nke mbụ, na ntinye tupu ha emee , ndị na-eme nchọpụta gbanwere usoro mgbasaozi mgbasa ozi n'ime edemede akwụkwọ (lee Grimmer and Stewart (2013) maka ozi ndị ọzọ). Nke abụọ, ha na-ejikọta mmetụta nke obere obere nke posts. Nke atọ, ha zụrụ otu ihe mmụta nkuzi na-ahụ maka ịtụle mmetụta nke posts. Nke anọ, ha jiri usoro mmụta mmụta a na-ahụ maka ịtụle mmetụta nke ihe niile ahụ. Lee King, Pan, and Roberts (2013) , ihe ndepụta B maka nkọwa zuru ezu.

N'ikpeazụ, Eze na ndị ọrụ ibe ha chọpụtara na ọ bụ nanị ụdị posts atọ ka a na-emechi anya: foto ndị na-akpali agụụ mmekọahụ, nkatọ nke ndị na-eme ihe nkiri, na ndị nwere ihe omume nwere ike ime (ya bụ, o nwere ike ịmalite ime mkpesa). Site n'ilele ọtụtụ ọnụọgụ ndị ehichapụrụ na posts ndị a na-ehichapụghị, Eze na ndị ọrụ ibe ha nwere ike ịmụta otú censors si arụ ọrụ site n'ikiri na ịgụta ọnụ. Ọzọkwa, na-ese onyinyo isiokwu nke ga-eme n'ime akwụkwọ a nile, ihe nchịkwa a na-ahụ maka ha na-eji aka-ịkọ ihe ụfọdụ ma rụzie ihe mpempe akwụkwọ mpempe akwụkwọ iji kọwaa ihe ndị ọzọ na-eme ka ọ bụrụ ihe a na-emekarị na nchọpụta mmadụ na afọ dijitalụ . Ị ga-ahụ foto ndị yiri nke dị na isi 2.5 na isi nke atọ (Ịjụ ajụjụ) na 5 (Ịmepụta ngwakọta ọnụ); nke a bụ otu n'ime echiche ole na ole dị na ọtụtụ isi.

Ihe atụ ndị a-omume na-eme ka ndị ọkwọ ụgbọala na New York na omume mgbasaozi mgbasa ozi nke ọchịchị gọọmenti China-na-egosi na nchịkọta dị mfe nke nnukwu data nwere ike, n'ọnọdụ ụfọdụ, na-eduga n'ịchọ nchọpụta dị mma na dị mkpa. N'okwu abụọ ahụ, Otú ọ dị, ndị nchọpụta ahụ ga-eweta ajụjụ ndị na-adọrọ mmasị na nnukwu ebe data; data n'onwe ya ezughị.