D:
Quali circostanze hanno portato alla nascita dell'ecosistema dei big data?
UN:Ci sono molti fattori che hanno contribuito alla nascita dell'ecosistema di big data di oggi, ma c'è un consenso generale sul fatto che i big data sono nati a causa di una serie di progetti hardware e software che hanno semplicemente permesso l'esistenza di big data.
| Webinar: Big Iron, Meet Big Data: liberazione dei dati mainframe con Hadoop & Spark Registrati qui |
Una definizione convenzionale di big data è la seguente: set di dati sufficientemente grandi e complessi da sfidare la facile gestione iterativa o la gestione a mano. I set di big data sono spesso identificati come set di dati che non possono essere inseriti in una semplice rete di database, poiché la loro analisi richiede troppo lavoro da parte dei server che gestiscono i dati.
Con questo in mente, una parte importante di ciò che ha creato i big data è l'idea che conosciamo come legge di Moore, o il raddoppio dei transistor su un circuito ogni due anni, creando hardware e dispositivi di archiviazione dati sempre più piccoli (oltre a microprocessori più potenti) . In concomitanza con la Legge di Moore, e probabilmente a causa di ciò, la capacità di elaborazione dei sistemi software accessibili continuava ad aumentare, al punto che persino i personal computer potevano gestire quantità di dati molto maggiori, e i sistemi aziendali e all'avanguardia hanno iniziato a essere in grado di gestire le dimensioni dei dati inconcepibile solo diversi anni prima. I sistemi personali sono passati da kilobyte a megabyte, quindi a gigabyte, in un processo trasparente per i consumatori. I sistemi di avanguardia sono passati da gigabyte a terabyte e petabyte e su ordini di grandezza come gli zetabyte, in modi molto meno trasparenti per il cittadino medio.
Un altro progresso che ha accolto i big data sono stati i cambiamenti nel modo in cui i gestori hanno elaborato i set di dati. Invece dell'elaborazione lineare attraverso una convenzionale progettazione di database relazionali, i gestori hanno iniziato a utilizzare strumenti come Apache Hadoop e i relativi componenti di gestione dell'hardware per eliminare i colli di bottiglia nei processi dei dati.
Il risultato è il mondo dei big data in cui viviamo, in cui enormi set di dati sono archiviati e mantenuti nei data center e sempre più accessibili da una vasta gamma di tecnologie per una vasta gamma di usi. Dal commercio all'ecologia, dalla pianificazione pubblica alla medicina, i big data stanno diventando sempre più accessibili. Nel frattempo, le agenzie governative e altre organizzazioni più grandi stanno ancora spingendo i confini delle dimensioni dei big data e implementando soluzioni ancora più avanzate.
