Mikä on Big Data?

Miten

mennessäRyan Dube

Viimeksi päivitetty26. maaliskuuta 2020

Vuosien mittaan monet sanat-sanat ovat muodikkaita monilla aloilla. On harvat, joista on tullut niin suosittuja ja niin kauan kuin suuria tietoja. Mutta mikä on suuria tietoja, tarkalleen ottaen?

Suuret tiedot viittaavat virtuaaliseen tietovaltameriin, joka on saatu useista lähteistä, analysoitu ja suodatettu tavalla, joka tuottaa tarkoituksenmukaisia ​​ja toimivia tuloksia.

Prosessi, jolla ”iso data” muutetaan merkityksellisiksi tuloksiksi, voi vaikuttaa monimutkaiselta ja vaikealta. Kun ymmärrät, mikä iso tieto on ja miten se toimii, ymmärtäminen, miten se tehdään merkitykselliseksi, ei vaikuta niin monimutkaiselta.

Mikä on Big Data?

Kun kuulet ihmisten puhuvan ”isoista tiedoista”, se tapahtuu yleensä paljon käsien heiluttamalla ja isoja sanoja. Mutta kun kiehui kaikki hyperbooli, todellinen "data" on oikeastaan ​​monia useita tiedonsiirtovirtoja.

Ymmärtääksesi tämän, esimerkki voi auttaa. Oletetaan, että sinulla on sateenvarjojen valmistusyritys. Markkinointiosasto etsii tapaa paremmin ennustaa, kun markkinoiden kysyntä on nousussa.

Ennen suurten tietojen päiviä markkinoijat tutkivat markkinatrendejä, lähettävät asiakaskyselyjä ja monia muita toimintoja.

He keräävät kaiken kyseisen tiedon ja tallentavat sen oman yrityksen sisäisiin tietokantoihin. Joku saattaa jopa olla vastuussa markkinointitutkimuksen tietojen päivittämisestä vuosittain tai neljännesvuosittain.

Suuren datan tulo laajentaa kuitenkin kykyä suorittaa tällaista tutkimusta. Erityisesti iso data on erityisen tehokas tärkeiden suuntausten tai tapahtumien tunnistamiseksi lähes reaaliajassa.

Tietosyötöt tällaista "big data" -analyysiä varten voivat sisältää reaaliaikaisia ​​datavirtoja kirjoittamalla koodin, joka kytkeytyy Sovellusohjelmointirajapinta (API) monista eri yrityksistä, jotka ovat julkistaneet tiedot julkisesti:

• Twitter ja Facebook: Tunnista, milloin ja miksi ihmiset keskustelevat sateenvarjojen ostamisesta.
• Sää: Tunnistaminen sääolosuhteet tai ennusteita, jotka voivat muuttua suuremmaksi sateenvarjokaupana.
• Pörssi: Sateenvarjojen tuotannon raaka-ainekustannusten kausittainen muutos.
• Asiakkaan verkkokäyttö: Tietojen käyttö tietokoneevästeet ihmisistä, jotka käyvät yritysluettelossa ymmärtääksesi ostokäyttäytymistä.
• Asiakasostohistoria: Jälleenmyyjien seuranta myyntikohteiden maantieteellisyyden ja vuodenaikojen suhteen.

Suuren datan käyttämiseksi tämän yrityksen markkinointitiimin on joissain tapauksissa asennettava uusi tekniikka.

Big Data ja Internet

Tähän voi kuulua esineiden Internet (IoT) -teknologia vähittäiskauppiaissa, joka seuraa ja raportoi kuluttajien käyttäytymistä. Tai voi edellyttää, että ohjelmoija kirjoittaa Twitterin sovellusliittymään liittymiseen tarvittavan koodin suodattaaksesi kaikki twiitit, joissa mainitaan ”sateenvarjot” tai yrityksen nimi.

Jokainen näistä tekniikoista on nyt saatavana Internetin ansiosta. Internet antaa kuka tahansa käyttää tietovirtoja ympäri maailmaa.

Tässä on miten oman esimerkin asetukset voivat toimia tässä tapauksessa.

Tämä kaavio näyttää kuinka data virtaa yrityksen ”datajärvelle” monista eri lähteistä. Saapuvat tiedot voivat olla rakenteeltaan erilaisia, mutta tärkeätä on kerätä mahdollisimman paljon tietoa kaikista lähteistä.

Mikä on Data Lake?

Toisin kuin tietokanta, joka sisältää jäsenneltyä tietoa tiettyihin sarakkeisiin ja riveihin, datajärvi on massiivinen arkisto monille erilaisille tiedomuodoille.

Tallennetut tiedot voivat olla jäsenneltyjä tai jäsentämättömiä. Tarkoittaa, että siinä voi olla jäsenneltyjä rivejä ja sarakkeita tai ei. Tiedot voivat olla merkkijonoja, jotka käyttävät tiettyä muotoilua tietojen erottamiseen. Jokainen tietolähde voi lähettää tietoja datajärvelle haluamassaan muodossa.

Kuva datajärvi kuin massiivinen kirjasto, joka sisältää monenlaisia ​​medioita, kuten kirjoja, kuvia mikrofilmillä ja videoita DVD-levyillä.

Kuvittele digitaalisen älykkyyden ja data-analytiikan insinööri kyseisen kirjaston suojelijoina. Nämä asiakassuhteet voivat digitaalisesti vetää tietoja kirjoista, mikrolomakkeista ja DVD-levyiltä ja löytää tapoja sekoittaa ja yhdistää tietoja ja oppia asioita tiedon korreloinnista.

Näistä opinnoista tulee todellista, toimintakelpoista älykkyyttä. Jotkut näistä esimerkistämme voivat sisältää:

• Chattaajat Twitterissä ja Facebookissa viittaavat lähestyvään myrskyyn New Yorkissa, tuhansien asiakkaiden suunnittelemalla ostaa sateenvarjoja.
• Tietokoneevästeiden ostotiedot ja vähittäiskaupan kassat osoittavat, että Kalifornian ostajat ovat valmiita maksamaan enemmän suunnittelijan sateenvarjoista kuin Virginian ihmiset.
• Suuri lähestyvä myrskykuvio osoittaa, että suurin osa itärannikosta on sateessa täyden viikon ajan.

Kaikki nämä opinnot saattavat saada markkinointiryhmän investoimaan enemmän mainontaan maantieteellisesti, jos sateenvarjojen myyntikysyntä on paljon voimakkaampaa. Valmistustoiminta voisi myös siirtää tuotantoponnistustaan ​​niille maailman alueille, jotka ovat lähempänä myyntiä, joka todennäköisesti kasvaa.

Tällä tavalla iso data voi mikä tahansa yritys virtaviivaistaa markkinointiaan ja toimintaansa.

Mikä on Hadoop?

Seuraava kysymys on, miten yritykset käsittelevät niin suuria tietomääriä ja tunnistavat suuntauksia?

Tällainen tietojen murskaaminen vaatii valtavia tietokoneresursseja. Niin paljon, että yritykset eivät enää käytä suuria keskuskoneita paikan päällä kuten ennenkin. Monet näistä palveluista ovat nyt ostoja pilvestä. Pilvetietojen tiedustelupalvelut, kuten Apache Hadoop, tarjoavat monia tietokoneen solmuja suuressa pilviverkossa. Jokainen näistä solmuista myötävaikuttaa prosessointitehtaan, jota tarvitaan massiivisten datavirtojen analysoimiseksi useista lähteistä.

Tällainen prosessointiteho on kone- tai digitaalisen älykkyyden ja data-analytiikan ydin. Hadoop on ohjelmistokehys, joka tekee koko massiivisen laskennallisen tehoverkon digitaalisen älykkyyden suunnittelijoille tarpeellisiksi.

Heti kun laskennallinen moottori tuottaa toimivia tietoja, nämä toimitetaan yritykselle yleensä kojetaulujen tai raporttien muodossa.

Big Data ei ole vain buzzwords

Totuus on, että ”iso data” on enemmän kuin pelkkä yrityslingo. Monet yritykset oppivat, että hyödyntämällä paremmin tietoja ne pystyvät saavuttamaan lukuisia saavutuksia.

• Valmistajat voivat parantaa kriittisiä tuotantomittareita, kuten satoa, laatua ja tehokkuutta.
• Vähittäiskauppiaat voivat paremmin kohdistaa markkinointi-, mainonta- ja yrityssijoituksia markkinoiden signaalien perusteella.
• Jakelijat pystyvät ennustamaan toimitusketjun mahdolliset ongelmat ennakoivasti kehittämään varautumissuunnitelmia.
• Uutisjärjestöt voivat nopeasti tunnistaa uutisarvoisia tapahtumia analysoimalla julkisia signaaleja Internetissä.
• Kyberturvallisuuden asiantuntijat käytä signaaleja Internetissä tunnistaaksesi verkkohyökkäykset niiden ollessa käynnissä.

Vaikka suuri osa siitä, mitä suuria tietoja on viime vuosina saavutettu, on käytännössä näkymätöntä yleisölle, suurilla tiedoilla on todella ollut merkittävä vaikutus ihmisten arkeen ympäri maailmaa.