Così com'è, afferma Mike Olson, CEO di Cloudera, la piattaforma di analisi di Hadoop presenta alcune limitazioni significative in termini di velocità e complessità. Tuttavia, i leader del settore - compresi quelli della propria azienda - stanno lavorando per cambiarlo, fiduciosi che questo strumento di ricerca si evolverà in modo fondamentale nei prossimi anni.
Alla conferenza Strata dell'anno scorso, Olson ha chiesto al pubblico di immaginare come, se fosse stato creato oggi, Hadoop sarebbe stato progettato in modo diverso, ipotizzando che alcuni cambiamenti specifici potessero aprire nuove porte alla ricerca in campi come l'istruzione, l'energia e l'agricoltura. Citando il cosmologo e autore scientifico Carl Sagan, Olson ha sottolineato l'importanza di suddividere i dati di alto livello per un pubblico più vasto.
"Penso che siamo in bilico sul bordo delle principali scoperte che contano per gli affari e per la società", ha detto Olson.
Un esempio, ha osservato, è la scoperta scientifica resa possibile dal lavoro di professionisti scientifici presso il Large Hadron Collider in Svizzera. Secondo Olson, è la valutazione giornaliera di 37 terabyte di dati che ha portato a progressi chiave come la scoperta dello spartiacque di Higgs-Boson, che ha rivelato aspetti chiave della materia e dell'energia. Olson ha aggiunto che Hadoop aiuta a supportare questi progetti di ricerca fondamentali catturando un'enorme quantità di dati in un singolo repository, ma che è difficile interagire con tali dati in tempo reale.
Esponendo i modi in cui Hadoop e tecnologie simili possono aiutare gli scienziati in settori chiave, come l'assistenza sanitaria, Olson ha anche annunciato il progetto Impala, qualcosa su cui la sua azienda ha lavorato per due anni, con due quarti di beta test in coordinamento con importanti clienti. Il progetto Impala, ha affermato Olson, è una tecnologia "100% open source" con licenza Apache che funziona con Hadoop come "motore di query in tempo reale". Questo, ha detto Olson, consente ciò che chiama "query sulla velocità di pensiero", in cui gli utenti possono porre una domanda, ottenere una risposta e formulare una nuova domanda per utilizzare efficacemente i principali cluster di dati.
"Ti dà un nuovo modo di ottenere i tuoi dati", ha detto Olson, sottolineando come questo tipo di avanzamento potrebbe aprire ulteriori opportunità per risolvere i principali problemi negli Stati Uniti e all'estero.
