Hei data -johdannossani pyrin määrittelemään datan ilmiönä ja selventämään sen merkitystä IT-alalla. Se oli kuitenkin vain pintaraapaisu tähän valtavaan aihepiiriin. Tässä artikkelissa aion syventyä datakäsitteisiin tarkemmin ja tarkastella alan työnjakoa useiden pääotsikoiden alla. Tämä katsaus valottaa yritysmaailmassa yleisiä tehtävänimikkeitä sekä kuhunkin rooliin kuuluvia keskeisiä teknologioita.
Tietokantojen ylläpito
Nykyisessä IT-ympäristössä data muodostaa useimpien projektien perustan. Tietokantajärjestelmät toimivat tämän datan keskeisinä säilytyspaikkoina varmistaen sen saatavuuden ja eheyden. Toimivan tietokannan ylläpito vaatii kuitenkin jatkuvaa valppautta: datan on säilyttävä muuttumattomana, varmuuskopioista on huolehdittava, katastrofeista johtuvat romahdukset on estettävä ja suorituskykyä on valvottava tarkasti. Myös tietokannan käyttöoikeuksia on auditoitava. Kaikki nämä kriittiset tehtävät edellyttävät asiantuntijaa, joka tuntee tietokantajärjestelmän sisäisen toiminnan läpikotaisin. Tässä kuvaan astuu tietokantaylläpitäjä eli DBA (Database Administrator), joka vastaa edellä kuvatusta tehtäväkokonaisuudesta. Yleensä DBA erikoistuu tiettyyn tietokantateknologiaan ja hallitsee tietokannanhallintajärjestelmän toiminnan niin pinnalta kuin konepellin altakin. Projektien kasvaessa DBA-roolit usein eriytyvät: osa keskittyy suorituskyvyn optimointiin, toiset taas varmuuskopioiden hallintaan.
Tällä osa-alueella on lukuisia tehtävänimikkeitä, joilla jokaisella on oma painopisteensä. Esimerkiksi tietokantakehittäjä (Database Developer) on erikoistunut tietokantajärjestelmässä ajettavien ohjelmien ja toiminnallisuuksien rakentamiseen, kun taas tietokantaylläpitäjä (Database Administrator) vastaa järjestelmän hallinnasta ja huollosta. Lisäksi tietoturvavastaava (Data Security Administrator) suojaa dataa toteuttamalla tietoturvaratkaisuja ja ehkäisemällä mahdollisia uhkia sekä tietomurtoja. Nämä roolit yhdessä muodostavat datakeskeisen IT-ympäristön selkärangan ja osoittavat, miten monipuolista osaamista jatkuvasti kehittyvällä alalla tarvitaan.
Data-arkkitehtuuri
Tietokantaylläpitäjällä (DBA) on keskeinen rooli projektin tietokannan hallinnassa, ja hänen huomionsa kiinnittyy ensisijaisesti tietokantaoperaatioihin liiketoimintalogiikan syvällisen ymmärtämisen sijaan. Data ei kuitenkaan ole staattista, vaan se muuttuu ja liikkuu jatkuvasti. Datan virtauksen ymmärtäminen edellyttää taustalla olevan liiketoimintalogiikan syvempää tuntemusta. Siinä missä ohjelmistoarkkitehtuurissa liiketoimintasäännöt muunnetaan laskennallisiksi ratkaisuiksi, data-arkkitehtuurissa tuodaan esiin teknologioiden ja datan monimutkainen vuorovaikutus. Tähän tarvitaan asiantuntijaa, joka suunnittelee arkkitehtuurikehyksen optimoidakseen järjestelmäteknologioiden ja datan yhteistoiminnan ja varmistaakseen, että liiketoimintasäännöt toteutuvat saumattomasti datatasolla. Tätä henkilöä kutsutaan data-arkkitehdiksi (Data Architect). Hänen tehtävänään on huolellisesti suunnitellun arkkitehtuurin avulla määritellä, miten data on olemassa, sovittuu yhteen eri teknologioiden kanssa, siirtyy, muuntuu ja integroituu saumattomasti koko liiketoimintalogiikkaan.
Data-arkkitehdin nimikkeen lisäksi vastaavia vastuita voi sisältyä muihinkin rooleihin. Esimerkiksi tekninen tietoasiantuntija (Technical Information Specialist) voi erikoistua tähän työhön, kun taas pilvidata-arkkitehti (Cloud Data Architect) soveltaa osaamistaan pilvi-infrastruktuuriin. Ratkaisuarkkitehti (Solution Architect) puolestaan saattaa vastata kokonaisvaltaisista ohjelmistoarkkitehtuureista, jotka yhdistävät saumattomasti datan ja liiketoimintalogiikan. Nämä nimikkeet kuvastavat sitä laajaa asiantuntemusta, jota data-arkkitehtuurin ja teknologia-integraatioiden kentällä vaaditaan.
Datatekniikka (Data Engineering)
Data-arkkitehtuurin osa-alueella yksi tärkeimmistä vastuista on suunnitelmien käytännön toteutuksen valvonta. Vaikka arkkitehtuuripiirustus määrittää, minne ja miten data virtaa, tarvitaan insinöörien ahkeraa työtä dataputkien (data pipelines) herättämiseksi henkiin. Insinööreillä on ratkaiseva rooli suunnitelmien muuntamisessa toimivaksi, operatiiviseksi todellisuudeksi. Tätä monipuolista roolia kutsutaan datainsinööriksi (Data Engineer), ja se kattaa sekä ohjelmistokehityksen että ylläpidon osa-alueet. Datainsinöörit hoitavat monenlaisia tehtäviä datan poimimisesta eri lähteistä ja sen lataamisesta kohteisiin aina datan muuntamiseen (transformointiin) ja työnkulkujen automatisointiin saakka. Datainsinöörin tarkat vastuut voivat vaihdella huomattavasti riippuen kulloisenkin arkkitehtuurin vaatimuksista.
Niinpä alan tehtävänimikkeiden kirjo on laaja ja heijastelee eri ympäristöissä vaadittavaa erityisosaamista. Yleisiä datatekniikan menetelmiä hallitsee datainsinööri (Data Engineer). Massadatan parissa työskentelevät käyttävät usein nimikettä Big Data Engineer, kun taas pilviympäristöihin perehtyneet toimivat pilvidatainsinööreinä (Cloud Data Engineer). Tietovarastojen suunnitteluun keskittyvät voivat puolestaan olla tietovarastokehittäjiä (Data Warehouse Engineer / Developer), ja työkalukeskeisemmissä tehtävissä toimivat tunnetaan usein ETL-kehittäjinä (Extract, Transform, Load). Nämä nimikkeet osoittavat, miten monipuolista osaamista datainsinöörit tuovat jatkuvasti kehittyvään dataympäristöön.
Liiketoimintatiedon hallinta (Business Intelligence)
Aika on todellakin arvokas sijoitus dataa tuottaville organisaatioille. Toimivassa organisaatiossa on todennäköisesti kehitetty erikoisohjelmistoja toiminnan seuraamiseen, minkä seurauksena kertyneen datan määrä on kasvanut vuosien mittaan räjähdysmäisesti. Tällä kertyneellä datalla on paljon suurempi arvo kuin ensi silmäyksellä näyttää, ja ensimmäinen askel sen potentiaalin hyödyntämisessä on liiketoimintatiedon hallinta eli Business Intelligence (BI).
Liiketoimintatiedon hallinta (BI) on perinteisten raportointiprosessien kehittyneempi ja järjestelmällisempi muoto. Se on keskeinen järjestelmäkokonaisuus, sillä tämän laajan, aikaleimatun datamäärän tehokas käsittely vaatii erityisiä menetelmiä ja teknologioita. Näiden yhteydessä mainitaan usein termi ”tietovarasto” (data warehouse). Tietovaraston käsite syntyikin alun perin nimenomaan palvelemaan liiketoimintatiedon raportointitarpeita.
On hyvä huomata, ettei Business Intelligence -alalla työskenteleviltä aina vaadita laajaa teknistä osaamista. Esimerkiksi BI-analyytikon (BI Analyst) tai data-analyytikon (Data Analyst) rooleissa korostuvat ennen kaikkea raportointitaidot ja strateginen liiketoimintanäkemys yksityiskohtaisen teknisen osaamisen sijaan. Roolijako analyytikoiden ja kehittäjien välillä ei kuitenkaan ole kiveen hakattu: työnkuvat menevät usein osittain päällekkäin, ja asiantuntijat tekevät tiivistä yhteistyötä hyödyntääkseen datan täyden potentiaalin tiedolla johtamisen ja liiketoiminnan kasvun tueksi.
Datatiede (Data Science)
Business Intelligencestä puhuttaessa korostin sen merkitystä ensimmäisenä askeleena datan piilevien merkitysten avaamisessa sekä perinteisen raportoinnin jäsennellympänä muotona. Itse data pitää kuitenkin sisällään lukuisia monimutkaisia säännönmukaisuuksia ja oivalluksia, joita edes sen tuottajien voi olla vaikea havaita. Tämän monimutkaisuuden ratkaisemisessa avuksi tulevat matematiikka ja tilastotiede. Piilevien merkitysten etsiminen tieteellisesti todistettujen menetelmien avulla kiteytyy käsitteeseen ”datatiede” (Data Science).
Alun perin tiedonlouhintana (Data Mining) tunnettu ala on menetelmiensä kehittyessä ja laajentuessa kasvanut täysiveriseksi tieteenalaksi. Nykyisin nämä menetelmät auttavat meitä paitsi ymmärtämään dataa, myös opettamaan tietokoneita hahmottamaan sitä ja toisinaan jopa tuottamaan itsenäisesti uutta aineistoa. Tällä dynaamisella alalla yleisiä tehtävänimikkeitä ovat datatieteilijä (Data Scientist) ja koneoppimisinsinööri (Machine Learning Engineer). Aihepiiri on valtavan laaja ja monisäikeinen, ja sen kattava tarkastelu vaatisi pitkiä artikkeleita.