L'evoluzione dei big data

All'inizio degli anni 2000, era chiaro che c'era un enorme bisogno di innovazione per quanto riguarda i dati. I limiti su ciò che le aziende potrebbero fare con i loro dati hanno frustrato i dirigenti e diminuito enormemente l'efficienza. Molte aziende hanno archiviato enormi quantità di informazioni, ma non sono state semplicemente in grado di gestirle, analizzarle o manipolarle a proprio vantaggio. È questa crescente pressione che ha lasciato il posto alla frontiera dei big data.

Nel 2003, Google ha creato MapReduce, un'applicazione di dati che ha consentito all'azienda di elaborare e analizzare informazioni sulle sue query di ricerca su migliaia di server in un breve lasso di tempo. Sia scalabile che adattabile, il programma ha permesso a Google di eseguire migliaia di attività sui dati in pochi minuti, migliorando la produttività e ridefinendo i confini percepiti su cosa si potrebbe fare con i dati. Quasi 10 anni dopo, i big data sono diventati un principio centrale della tecnologia dell'informazione. La sua portata e capacità di vasta portata ha radicalmente cambiato la gestione dei dati sul posto di lavoro. Ma cosa ha spinto questa evoluzione e che impatto avranno i big data sul futuro? Abbiamo pensato che non l'avresti mai chiesto. (Per alcune informazioni di base sui big data, dai un'occhiata ai Big Data: come vengono acquisiti, elaborati e utilizzati per prendere decisioni aziendali.)

Cerco risposte a domande sui big data

La bellezza di MapReduce è stata la semplificazione di compiti estremamente complessi. La comunicazione potrebbe essere gestita su più macchine, i guasti del sistema potrebbero essere affrontati e i dati di input potrebbero essere organizzati automaticamente, un processo che potrebbe essere supervisionato da individui che non necessitavano più di competenze altamente tecniche. Rendendo l'elaborazione dei dati non solo possibile ma accessibile, Google ha ispirato un cambiamento culturale nella gestione dei dati. Non passò molto tempo prima che migliaia di grandi aziende usassero MapReduce per i loro dati.

Ma c'era un problema: MapReduce era semplicemente un modello di programmazione. Sebbene facilitasse le basi del trattamento dei dati, non era di per sé la risposta a carenze di dati esistenti; era solo un passo necessario nella giusta direzione. Le aziende avevano ancora bisogno di un sistema in grado di soddisfare le loro esigenze specifiche di dati e andare oltre i semplici elementi essenziali della gestione dei dati. In breve, la tecnologia doveva evolversi.

Inserisci Hadoop

Inserisci Hadoop, un software framework open source creato da numerosi programmatori, tra cui Doug Cutting. Laddove MapReduce era di base e ampio, Hadoop ha fornito una specificità rinfrescante. Le aziende potevano progettare le proprie applicazioni su misura che rispondevano alle esigenze dei dati in un modo in cui nessun altro software poteva ed era generalmente compatibile con altri file system. Un'azienda con programmatori di talento potrebbe progettare un file system in grado di realizzare attività uniche con dati che prima sembravano irraggiungibili. Probabilmente la parte migliore era che gli sviluppatori avrebbero condiviso tra loro applicazioni e programmi che potevano essere spiegati e perfezionati.

Democratizzando una risorsa così importante, Hadoop divenne una tendenza. Dopotutto, molte grandi aziende, in particolare le società di motori di ricerca, sentivano di averne bisogno per decenni! Non passò molto tempo prima che giganti dei motori di ricerca come Yahoo annunciavano l'implementazione di grandi applicazioni Hadoop che generavano dati utilizzati nelle query di ricerca Web. In quella che sembrava un'ondata, diverse importanti aziende hanno annunciato l'adozione di questa tecnologia per i loro enormi database, tra cui Facebook, Amazon, Fox, Apple, eBay e FourSquare. Hadoop ha fissato il nuovo standard per l'elaborazione dei dati.

Big Data, grandi problemi

Mentre i progressi nella tecnologia dei dati hanno rimodellato il modo in cui le aziende trattano i dati, molti dirigenti li trovano ancora non attrezzati per l'intera gamma di attività richieste. Nel luglio 2012, Oracle ha pubblicato un sondaggio su oltre 300 dirigenti di livello C, che ha rivelato che mentre il 36 percento delle aziende si affida all'IT per gestire e analizzare i dati, il 29 percento ritiene che i propri sistemi non abbiano capacità sufficienti per soddisfare le proprie aziende esigenze. Probabilmente la scoperta più sorprendente dello studio è stata che il 93% degli intervistati credeva che la loro azienda stesse perdendo fino al 14% delle sue entrate non potendo utilizzare i dati raccolti. Sono entrate che potrebbero essere spese per realizzare prodotti migliori e assumere più lavoratori. In un momento in cui le aziende stanno lottando per rimanere redditizie, è necessario migliorare i dati in modo che le imprese possano diventare più redditizie. Il sondaggio indica che, nonostante coloro che credono che l'influenza dei big data sul commercio sia già passata, le opportunità di crescita e avanzamento che essa possiede devono ancora essere pienamente realizzate.

Cosa riserva il futuro per i big data

La buona notizia è che Hadoop e MapReduce hanno ispirato molti altri strumenti di gestione dei dati. Molte nuove aziende stanno creando ampie piattaforme di dati che girano su Hadoop, ma offrono una vasta gamma di funzioni analitiche e una più facile integrazione del sistema. Sembra che le aziende abbiano investito moltissime risorse nell'affrontare i problemi relativi ai dati e il successo finanziario delle società di dati ne è stato la prova. Nel 2010, le società di dati hanno realizzato circa 3, 2 miliardi di dollari di vendite al dettaglio. Molti esperti hanno stimato che questo numero crescerà a ben $ 17 miliardi entro il solo anno 2015. Questo è un fatto che non è stato perso in alcune delle più grandi aziende tecnologiche. Sia IBM che Oracle hanno speso miliardi negli ultimi mesi per acquisire società di dati. Molte altre aziende faranno mosse simili nei prossimi anni mentre continuano a competere per una quota di mercato competitiva.

La frontiera dei big data

La quantità di dati raccolti continua a crescere in modo esponenziale, il che ha preoccupato e altri entusiasti. Il lato positivo è che gli esseri umani continueranno a diventare più produttivi e adattivi mentre impariamo cose nuove sul nostro mondo attraverso l'analisi dei dati. Il rovescio della medaglia è che esiste una così grande quantità di dati che molti temono che non siamo in grado di archiviarli correttamente, e tanto meno gestirli adeguatamente in modo che possano essere utilizzati da tutti coloro che ne hanno bisogno.

Detto questo, i progressi nei big data possono offrire opportunità senza precedenti per soluzioni a problemi urgenti riguardanti i dati. Ad esempio, gli esperti hanno suggerito che se i big data fossero implementati correttamente con un'enfasi su efficienza e qualità, avrebbero il potenziale di risparmiare circa $ 300 miliardi all'anno solo nelle spese sanitarie; i rivenditori sarebbero in grado di migliorare i loro margini operativi, il settore pubblico potrebbe fornire servizi migliori e le grandi imprese risparmierebbero miliardi. Quindi, sembra che la risoluzione dei nostri problemi relativi ai dati non sia necessaria solo nelle sale riunioni dell'azienda, ma ovunque. Il che dice cose positive sul futuro dei big data, e forse anche del nostro.