Sommario:
Definizione - Cosa significa Job Chaining?
Il concatenamento dei lavori è un termine in MapReduce che si riferisce all'avvio di diversi passaggi nella stessa attività MapReduce. Con il concatenamento dei lavori, il primo lavoro invia l'output a un lavoro, che invia l'output al lavoro successivo nella catena e così via fino al completamento del lavoro. È una forma di pipeline di lavori MapReduce per renderli più gestibili.
Techopedia spiega Job Chaining
Il concatenamento di lavori in MapReduce si riferisce all'esecuzione di più attività in un singolo lavoro MapReduce.
Ad esempio, una catena di lavoro potrebbe essere composta da:
Mappa1> Riduci1> Mappa2> Riduci2
Il vantaggio del concatenamento di lavori è che elimina la necessità di dati intermedi tra tutte le fasi di una pipeline. In tal senso, il concatenamento dei lavori è simile al reindirizzamento input / output nella shell Unix. L'output da un collegamento nella catena scorre all'input nel lavoro successivo nella catena. MapReduce consente agli sviluppatori di specificare le dipendenze o quali lavori devono essere completati prima di elaborare i lavori successivi nella catena mediante l'uso della chiamata del metodo addDependingJob ().
Ciò rende più semplice per uno sviluppatore la scrittura di un programma MapReduce in grado di elaborare grandi quantità di dati.
