Áno, dnes žijeme v dátovom svete. Otázkou však je, čo bolo predtým a aké technologické kroky nás priviedli až sem. Práve preto sa v tomto článku vraciam k histórii dátovej vedy z pohľadu technológií, ktoré postupne vytvorili podmienky pre jej vznik a rozvoj.
Dátová veda by nevznikla bez technologického pokroku, ktorý jej postupne krok za krokom vytváral podmienky na rozvoj. A to od prvých databáz až po dnešné, moderné cloudové služby, pričom každý posun priniesol nové možnosti, ale aj súčasne aj mnohé dôležité výzvy.
V tomto článku sa zameriam na kľúčové technologické míľniky, ktoré položili základy modernej dátovej vedy a zásadne ovplyvnili spôsob, akým dnes s dátami pracujeme.
Dnes sa zameriam na kľúčové technologické míľniky, ktoré položili základy modernej dátovej vedy.
Tu sú niektoré z nich.
1/ Od papiera k SQL
Kedysi sa údaje evidovali ručne, na papieri, v tabuľkách alebo kartotékach. Tento spôsob bol ale náchylný na chyby, pomalý a prakticky ťažko rozšíriteľný. Prvé náznaky automatizácie sa začali objavovať až v 60. rokoch, najmä v bankovníctve a poisťovníctve.
Zlom nastal s príchodom relačných databáz a jazyka SQL (angl. Structured Query Language), ktoré umožnili ukladať a spracovávať údaje oveľa efektívnejšie. Britsko-americký informatik Edgar F. Codd vo firme IBM predstavil relačný databázový model, ktorý sa stal štandardom a v podstate zmenil ukladanie a spracovanie dát. Dnes patria SQL databázy ako je PostgreSQL, MySQL alebo SQLite k základným stavebným kameňom informačných systémov.
Prínos pre dátovú vedu:
Efektívne ukladanie dát, konzistentný prístup k informáciám a možnosť pracovať s historickými údajmi.
2/ Výpočtový výkon a GPU (angl. Graphics Processing Unit)
Od 40. do 80. rokov sa náročné výpočty realizovali na veľkých sálových počítačoch, ktoré boli drahé a dostupné len veľkým inštitúciám. Situácia sa začala meniť v 90. rokoch s nástupom dostupnejších osobných počítačov a serverov, čo umožnilo rozvoj analytického softvéru aj výskumným tímom a menším firmám.
Zásadný prelom nastal medzi rokmi 2006 až 2012 vďaka GPU a rozvoju neurónových sietí. Platforma NVIDIA CUDA od firmy NVIDIA umožnila využívať grafické karty nielen na grafiku ale aj na paralelné výpočty. Tým sa dramaticky skrátil čas potrebný na tréning modelov strojového učenia a analýzu veľkých dát.
Prínos pre dátovú vedu:
Rýchle spracovanie veľkých datasetov a praktické využitie hlbokého učenia.
3/ Internet a dostupnosť obrovského množstva dát
Príchod internetu umožnil firmám a jednotlivcom produkovať vo veľkom objeme digitálne dáta a to z oblastí, od štatistík návštevnosti internetových stránok, cez e-maily, multimediálny obsah alebo online formuláre. Ďalšiu vlnu dátového boomu priniesli sociálne siete ako Facebook alebo Twitter, video platformy ako YouTube a mobilné zariadenia. Prakticky každá interakcia používateľa generuje nové údaje.
Prínos pre dátovú vedu:
Obrovské množstvo dát umožňujúce detailnejšie analýzy správania, trendov a vzorcov.
4/ Cloud ako domov pre dáta
Spracovanie veľkých objemov dát si kedysi vyžadovalo vlastnú infraštruktúru, čo bolo finančne aj technicky náročné. Zlom priniesol až cloud, čo znamenalo výpočtový výkon a úložisko „na požiadanie“. Služby ako Amazon Web Services (AWS), Microsoft Azure alebo Google Cloud umožňujú dátovým vedcom ukladať obrovské množstvá dát, spúšťať výpočty podľa potreby a trénovať modely bez vlastnej infraštruktúry.
Prínos pre dátovú vedu:
Flexibilita, škálovateľnosť a rýchle experimentovanie bez vysokých vstupných nákladov.
5/ Softvérové nástroje a open-source komunita
Dátová veda nie je len o algoritmoch. Dôležitú úlohu zohráva aj dostupnosť softvérových nástrojov a open-source riešení, ktoré umožňujú experimentovať, zdieľať vedomosti a tiež dostupnosť analytických nástrojov pre širokú verejnosť.
Vývoj dátovej vedy by nebol možný bez silnej komunity vývojárov.
Programovací jazyk Python, knižnice ako Pandas alebo Scikit-learn a nástroje na prácu s dátami, napríklad Jupyter Notebook alebo Visual Studio Code, vznikli a stále sa rozvíjajú práve vďaka spolupráci otvorenej komunity.
Prínos pre dátovú vedu:
Dostupnosť nástrojov umožňuje, aby každý mohol pracovať s dátami a rozvíjať svoje schopnosti.
A čo ďalej?
Aj dnes sa dá povedať, že sme stále len na začiatku cesty.
Budúce trendy ako kvantové výpočty, automatizovaná umelá inteligencia alebo syntetické dáta budú ďalej formovať spôsob, akým dátoví vedci pracujú. Technológie sa menia, no základný cieľ zostáva rovnaký a to premeniť dáta na hodnotné informácie a lepšie rozhodnutia.
Zaujal Vás článok?
Zvážte možnosť jeho zdieľania na sociálnych sieťach alebo sa podeľte o svoj názor a pripomienky k článku a to odoslaním správy na e-mailovú adresu info@dataspark.sk.
