Che cos'è esattamente hadoop? una teoria cinica

Tutto ciò che sembra troppo bello per essere vero di solito lo è. Questo potrebbe essere il caso di Apache Hadoop, il progetto open source molto diffuso di cui tutti continuano a parlare. Allora, cos'è esattamente? Buona domanda!

Esperti dubbiosi

L'analista Mark Madsen di Third Nature lo ha inchiodato al muro qualche tempo fa in un pezzo su InsideAnalysis.com: "Che cos'è Hadoop. Che cosa non è Hadoop." Come qualcuno che sa come progettare soluzioni del mondo reale, quindi implementarle effettivamente, i suoi consigli non dovrebbero essere ignorati.

Ma c'è una corrente più profonda che scorre qui e il tempo è vicino per scoprire le radici di questa affascinante flora, per vedere se non possiamo ottenere una prospettiva su ciò che sta accadendo a un livello più macro. Dopo tutto, i venditori continuano a dire che è un grosso problema e ci sono così tanti partecipanti.

Impiega i committenti! (?)

Tre società detengono attualmente la maggior parte del nascente mercato di Hadoop: Cloudera, Hortonworks e MapR. In un recente briefing abbastanza controverso tramite Boulder BI Brain Trust (#BBBT), Jim Walker di Hortonworks ha rilasciato questo curioso commento:

"Non puoi far avanzare la tecnologia se non impieghi i committer!"

Vieni di nuovo?

Non sembra qualcosa che il senatore Palpatine potrebbe dire in un film di Star Wars?

Sen. Palpatine: "Impiega i committer!"

Minion nelle vicinanze: "Ma, signore! Pensa ai bambini!"

Per i laici là fuori che stanno solo cercando di fare le cose, i committer sono persone che si dedicano a un particolare progetto open source. La Apache Foundation ha protocolli rigorosi con cui i loro progetti vanno avanti, il che è spesso una buona cosa.

Detto questo, il commento di Walker merita un esame. Una domanda precisa (a rischio di evocare giorni di gioco) sarebbe: è una promessa o una minaccia? Sta dicendo che Hortonworks potrebbe semplicemente prendere la palla e tornare a casa?

Cooperazione o Concorrenza?

L'aspetto interessante, seppure paradossale, qui è che, secondo quanto riferito, la maggior parte dei committenti del team Hadoop (circa una trentina di persone in tutto) provengono da Hortonworks e Cloudera, che sono concorrenti. Questo è un caso molto curioso di concorrenza.

Allora, qual è il problema? Ecco un'ipotesi istruita: Hadoop deve in gran parte la sua fama a un piano intelligente ideato da un gruppo di capitalisti e ingegneri di venture capital della Silicon Valley che stanno essenzialmente cercando di coprire le loro scommesse contro Oracle.

L'idea generale è quella di seminare il mercato con una base di codice che può essere migliorata e rafforzata da una flotta di sviluppatori di tag-tag che idealmente, nel tempo, creerà tutti i tipi di strumenti di gestione dei dati, compresi i prodotti di database. I VC possono investire e incassare un giorno. Ma ci sono alcune serie sfide in gioco.

Come tutte le imprese monolitiche, Oracle si trova spesso nel mirino di molti giocatori più piccoli. E chi non vorrebbe solo una fetta delle loro entrate che intorpidiscono la mente? Solo nell'ultimo trimestre, Oracle ha prenotato ~ $ 9 miliardi. Ma sfidare Big Red e batterli sono due realtà molto diverse.

Webcast gratuito: cos'è Hadoop e dove sta andando? Unisciti a Eric Kavanagh, Robin Bloor e Techopedia per una discussione su come Hadoop è molto diverso da Linux o SOA e perché il suo futuro rimane in gran parte non scritto.

Problemi di imballaggio

La cosa su Hadoop, di per sé, è che non è affatto una soluzione confezionata. Piuttosto, è una complessa raccolta di moduli che consente ai programmatori di alta qualità di sfruttare enormi algoritmi di elaborazione parallela per fare cose molto specifiche. Ma non esiste un'interfaccia utente elegante e i manuali sono brutali.

Aggiungi a questa sfida questo ostacolo critico: hai anche bisogno di uomini d'affari che abbiano almeno una comprensione generale di ciò che può fare. Queste persone devono essere in grado di evocare idee su come può essere utilizzato, quindi comunicare agli sviluppatori, che devono successivamente produrre, testare, implementare e supportare applicazioni.

Orchestrare questa danza è il modo in cui Cloudera e Hortonworks fanno molti dei loro soldi. Il problema è che la maggior parte delle soluzioni create con questo metodo sono uniche e in genere si concentrano su sistemi operativi rispetto a quelli analitici. Traduzione? Cose del genere non si prestano davvero a prodotti software confezionati.

Redditività del packaging!

Il che ci riporta a Oracle. Larry Ellison e i ragazzi vendono fieno vendendo tecnologia di database, hardware, servizi e (aspettate …) pacchetti software. Apparentemente Cloudera l'ha capito, da qui la loro attenzione su Impala. Ma Hortonworks?

Il loro modello sembra imitare più da vicino quello di RedHat, la gente che ha costruito un business da miliardi di dollari sul sistema operativo Linux. Nary un importante fornitore nel settore del software aziendale non scrive per Linux, il sistema operativo con cui IBM ha guidato Microsoft al momento del passaggio. Ma Hadoop non è Linux, non da molto tempo.

Il dott. Geoffrey Malafsky, ex nanotecnologo della Marina degli Stati Uniti, ora scienziato di dati con Phasic Systems e PSIKORS Institute, distilla la proposta di valore di Hadoop in questo modo:

"Hadoop è ottimo per la ricerca, analisi di tendenza molto ampia per risultati stocastici e probabilmente qualche elaborazione parallela intelligente molto economica di cose come la mia ex moglie faceva: calcolo quantico della funzione dell'onda meccanica dello stato solido e reazioni chimiche. Questa vera scienza si basa sui supercomputer e si è spostato in qualche modo verso l'elaborazione parallela, ma si tratta di un duro cambiamento dell'approccio programmatico. Studenti laureati giovani, intelligenti ed energici saranno quelli che faranno sì che ciò avvenga. applicazioni ".

Noterai che non suona niente come data warehousing, business intelligence, integrazione dei dati o persino big data. Sembra un supercalcolo. E per qualche motivo interessante, i mondi dell'informatica ad alte prestazioni e della business intelligence non si sono mai realmente scontrati o coalizzati in modo significativo.

Long Road Ahead per Hortonworks e Cloudera

Ed ecco le brutte notizie per Hortonworks e forse Cloudera. I grandi venditori come IBM e SAP e Oracle e Teradata - per dirla in parole povere, e per citare Dire Straits: "Non sono stupidi!" Tre e più anni fa, tutti hanno lanciato serie strategie Hadoop.

Al centro di questi piani ci sono i tipi di cose che gli utenti aziendali si aspettano: interfacce utente grafiche, funzionalità di trascinamento della selezione, strumenti di modellazione e scoperta, flusso di lavoro, governance, sicurezza; in breve, tutti gli elementi che rendono utilizzabile il software aziendale. E, naturalmente, questi grandi fornitori hanno enormi basi di installazione.

A dire il vero, Cloudera e Hortonworks hanno entrambi ottenuto buoni affari, ma solo una piccola parte di ciò che i principali giocatori ottengono ogni anno. Fai i calcoli su quanto gli sfidanti addebitano ai loro clienti, rispetto a quanto è probabile il loro sovraccarico, e il quadro non è così roseo. Certo, questo è lo stesso del corso con problemi software nella fase iniziale, ma comunque …

Il futuro di Hadoop?

Quindi, potremmo vedere la classica ondata di acquisizioni, come abbiamo avuto in passato, quando IBM ha acquistato Cognos, Oracle ha ottenuto Hyperion e SAP ha catturato BusinessObjects? Forse, ma i nuovi bambini in questo blocco non possiedono Hadoop; lo prendono in prestito. E per quanto promettenti possano essere YARN e Tez, i cicli di rilascio sembrano essere in ritardo rispetto a ciò che producono i pesanti battitori.

Proprio l'altro giorno, un esperto del settore ha commentato che la politica di Apache può essere un serio collo di bottiglia. Questo non è terribilmente sorprendente, specialmente se si considerano i dollari in questione: c'è una grande motivazione per gli innovatori a diventare ricchi. E qualcuno ha notato come Chrome sembra aver superato Firefox in termini di funzionalità e operatività ultimamente? Chiuso, qualcuno?

Una cosa è certa: questo gioco si svolgerà in alcuni modi interessanti. Sì, i mammiferi (leggi: piccoli venditori) possono spesso superare i dinosauri; ma ci sono ancora alligatori e coccodrilli in tutto il mondo; e se ti imbatti in uno di sorpresa, potresti scoprire quanto possono essere affilati quei denti. Alcuni crocs insieme potrebbero persino abbattere un elefante o due.