V predchádzajúcich článkoch sme sa venovali tomu, ako dôležitú úlohu zohrávajú dáta v oblasti dátovej vedy. V článku Zber údajov v oblasti dátovej vedy sme si vysvetlili, že kvalitný zber údajov je jedným zo základných predpokladov úspešného dátového projektu.
Samotné vyhľadanie vhodnej dátovej sady je však iba prvým krokom.
V praxi nestačí dátovú sadu iba stiahnuť, načítať do nástroja na analýzu a začať vytvárať grafy alebo modely. Pred samotnou analýzou je potrebné overiť, či sú dáta dostatočne kvalitné a či sú vôbec vhodné na konkrétny účel. Práve táto schopnosť odlišuje profesionálnu prácu s dátami od jednoduchého spracovania tabuliek. Dátový vedec totiž nemusí iba vedieť dáta analyzovať, ale musí im aj rozumieť a vedieť posúdiť ich kvalitu.
Prečo je kvalita dát dôležitá?
Pri práci s dátami platí, že kvalita výsledkov nikdy nemôže byť lepšia ako kvalita samotných údajov. Ak pracujeme s nepresnými alebo neúplnými údajmi, môžeme síce vytvoriť profesionálne vyzerajúce grafy a reporty, ale ich závery nemusia správne opisovať realitu.
Predstavme si situáciu, že chceme pomocou dát zistiť, ako sa nezamestnanosť vyvíjala v rámci rôznych regiónov a či sa v jednotlivých oblastiach objavujú podobné alebo odlišné trendy. Nájdeme verejne dostupnú dátovú sadu, vytvoríme vizualizácie a začneme hľadať trendy. Neskôr však zistíme, že niektoré regióny nemajú vyplnené údaje, časť hodnôt pochádza z iného obdobia alebo dátová sada nebola niekoľko rokov aktualizovaná.
Technicky môže byť analýza spracovaná správne, ale výsledný záver nemusí zodpovedať realite. V dátovej vede preto často platí jednoduché pravidlo a to, že nekvalitné vstupné dáta vedú k nekvalitným výsledkom.
Dôveryhodnosť zdroja dát
Prvým krokom pri hodnotení verejnej dátovej sady by malo byť overenie jej pôvodu. Je totiž dôležité vedieť, kto dáta vytvoril, akým spôsobom boli získané a či existuje možnosť overiť ich správnosť. Pri verejných dátach je často výhodou, že pochádzajú od organizácií, ktoré majú definovaný spôsob zberu údajov. Ide napríklad o štatistické úrady, ministerstvá, univerzity alebo medzinárodné organizácie.
V predchádzajúcich článkoch Verejné zdroje pre zber dát 1-2 a neskôr aj vo Verejné zdroje pre zber dát 2-2, sme sa pozreli na rôzne možnosti, kde môžu začínajúci dátoví vedci nájsť verejne dostupné dátové sady z rôznych oblastí. Pri týchto zdrojoch býva veľkou výhodou nielen samotná dostupnosť údajov, ale tiež aj informácie o metodike ich získavania.
Naopak, v prípade dát získaných z menej známych webových stránok alebo z komunitných databáz, je vhodné venovať viac času overeniu pôvodu dát. Totiž aj veľmi zaujímavá dátová sada nemusí byť automaticky spoľahlivá, ak nevieme, kto ju vytvoril a ako vlastne vznikla.
Sú dáta vhodné na môj účel a čo ich aktuálnosť?
Jednou z najčastejších chýb v začiatkoch je, že sa vyberie dátová sada iba podľa toho, že obsahuje veľké množstvo údajov. Veľký počet riadkov však automaticky neznamená kvalitné alebo použiteľné dáta.
Pri každej dátovej sade by sme sa mali najskôr zamyslieť, na čo ju vlastne chceme použiť. Úplne iné dáta budú treba pri analýze ekonomických trendov, iné pri predikcii správania zákazníkov a iné pri projekte strojového učenia.
Napríklad dátová sada obsahujúca rôzne demografické údaje o obyvateľstve môže byť veľmi kvalitná, ale nebude vhodným základom pre tvorbu analýzy nákupného správania používateľov internetového obchodu. Pred začiatkom práce si preto nestačí položiť otázku, či je dátová sada kvalitná ale tiež, či je vhodná pre konkrétne zadanie.
Ďalším dôležitým faktorom je aktuálnosť dát.
Pri každej dátovej sade treba skontrolovať, kedy bola vytvorená, kedy bola naposledy aktualizovaná a ako často sa obnovuje. Význam aktuálnosti však závisí od oblasti použitia. Pri historických analýzach môžu byť staršie údaje veľmi cenné. Ak analyzujeme napríklad vývoj populácie, ekonomické trendy alebo klimatické zmeny, dlhé časové obdobie je často dokonca výhodou.
Na druhej strane existujú oblasti, kde staré dáta rýchlo strácajú hodnotu. Príkladom môžu byť finančné trhy, ceny energií alebo správanie používateľov na internete. Takže pred použitím dátovej sady je preto potrebné zvážiť, či jej časové obdobie zodpovedá cieľu analýzy.
Úplnosť dát a chýbajúce hodnoty
Pri práci s verejnými dátami sa veľmi často dá stretnúť s chýbajúcimi hodnotami. Nemusí to automaticky znamenať, že dátová sada je nepoužiteľná, ale je potrebné vedieť, aký vplyv môžu mať tieto chýbajúce údaje na výsledky analýzy.
Predstavme si dátovú sadu o vývoji počtu obyvateľov podľa regiónov.
Ak budú chýbať údaje iba za jeden mesiac alebo jeden región, problém môže byť relatívne jednoducho riešiteľný. Ak však chýba veľká časť údajov, výsledky analýzy môžu byť výrazne ovplyvnené. Preto je vhodné ešte pred samotnou analýzou skontrolovať, ktoré údaje chýbajú a aký význam majú pre projekt.
Takže ak to teda zhrniem..
Verejné dátové zdroje sú pre začínajúcich dátových vedcov výbornou možnosťou, ako získavať praktické skúsenosti a pracovať s reálnymi údajmi. Ako som uviedol už na začiatku tohto článku, existuje množstvo dostupných databáz a platforiem, ktoré ponúkajú dáta z rôznych oblastí.
Samotná dostupnosť dát však nestačí.
Dôležitou súčasťou práce dátového vedca je schopnosť posúdiť kvalitu údajov a súčasne overiť, či sú dôveryhodné, aktuálne, úplné a vhodné pre konkrétnu analýzu. Kvalitné a správne pripravené údaje predstavujú základ pre vytváranie spoľahlivých modelov, presných predikcií a objektívnych rozhodnutí založených na dátach.
