Big Data è la parola chiave per le crescenti quantità di dati. In tutto il mondo, le aziende sviluppano metodi sempre più efficienti per comprendere i dati elettronici, immagazzinarli in architetture di archiviazione giganti ed elaborarli sistematicamente. Petabyte e exabyte sono unità di misura tutt’altro che rare. Quindi, in quest’ordine di grandezze, è difficile che un unico sistema riesca a gestire i processi di calcolo. Le analisi dei Big Data presuppongono perciò una piattaforma software che consente di distribuire complessi compiti di computing su una grande quantità di nodi. In quest’ambito Apache Hadoop, un framework che si presenta come la base di molte distribuzioni e applicazioni per i Big Data, rientra tra le soluzioni più conosciute.
IONOS Cloud Compute Engine
Le medie e grandi aziende scelgono il Cloud made in Germany. IaaS e PaaS, servizi per veri campioni.
SicuroAffidabileFlessibileApache Hadoop è una struttura per diversi componenti software basata su Java che consente di scomporre i compiti di calcolo (jobs) in processi in più parti, di distribuirli su diversi nodi di un cluster e lasciarli così lavorare parallelamente. Nelle architetture Hadoop più grandi sono utilizzati migliaia di singoli computer. In questo modo si ha il vantaggio che ogni computer del cluster deve mettere a disposizione solo una piccola parte delle risorse hardware necessarie. Il lavoro con grandi quantità di dati non richiede un computer di calcolo dalle prestazioni elevate, ma si può svolgere grazie a svariati server standard che ottimizzano i costi.
Il progetto open source Hadoop è stato creato nel 2006 dallo sviluppatore Doug Cutting e si rifà all’algoritmo di Google MapReduce. Quando nel 2004 il motore di ricerca ha rilasciato informazioni su una tecnologia in grado di consentire processi di calcolo complessi sulla base di grandi quantità di dati, che possono avvenire parallelamente grazie a un cluster, Cutting ha riconosciuto il potenziale di MapReduce e ne ha proseguito lo sviluppo in un proprio progetto. Lo sviluppatore, che ha lavorato presso i grandi del settore come Excite, Apple Inc. e Xerox Park e si è fatto un nome con Apache Lucene, è stato aiutato in questo progetto da Yahoo, il suo datore di lavoro all’epoca. Nel 2008 Hadoop è diventato il progetto di punta dell’Apache Software Foundation e alla fine del 2011 il framework è stato rilasciato nella versione 1.0.0.
Oltre alla release ufficiale dell’Apache Software Foundation, esistono diversi forks del framework, che vengono offerti ai clienti da diversi fornitori come distribuzioni aziendali. Un supporto per Hadoop c’è ad esempio presso l’attuale datore di lavoro di Doug Cutting, Cloudera, che con CDH mette a disposizione una distribuzione open source specifica per le aziende; prodotti simili si ritrovano anche con Hortonworks e Teradata. Microsoft ha integrato Hadoop nel servizio Cloud Azure e anche InfoSphere BigInsights di IBM si basa su questo progetto di Apache.
Quando si parla di Hadoop, si intende solitamente un pacchetto software completo, indicato anche come ecosistema di Hadoop. Qui si trovano oltre ai componenti di base (il core di Hadoop), diverse estensioni che non spiccano solo per i loro nomi curiosi, come Pig, Chukwa, Oozie o ZooKeeper, ma ampliano anche il framework con moltissime funzionalità aggiuntive per l’elaborazione di grandi quantità di dati. Tutte queste estensioni vengono portate avanti dall’Apache Software Foundation, a stretto contatto con gli altri progetti e si basano le une sulle altre.
Il core di Hadoop costituisce la base dell’ecosistema di questo framework. I componenti del core del software sono nella versione 1 il modulo di base Hadoop Common, Hadoop Distributed File System (HDFS) e un MapReduce Engine, che è stato sostituito da una tecnica di gestione di cluster, YARN (chiamato anche MapReduce 2.0), a partire dalla versione 2.3. Con questo l’algoritmo MapReduce è escluso dal sistema di gestione vero e proprio, così da diventare un plug-in basato su YARN.
Il modulo Hadoop Common mette a disposizione di tutti gli altri componenti del framework un set con funzioni di base: tra queste rientrano i file di archivio Java, che servono per avviare Hadoop, le librerie per la serializzazione dei dati, le interfacce utente per gli accessi al file system dell’architettura di Hadoop e la comunicazione Remote Procedure Call all’interno di un cluster. Inoltre nel modulo del codice sorgente di Hadoop Common si trovano la documentazione del progetto e le informazioni relative a sottoprogetti.
HDFS è un file system adalta disponibilità, che serve per l’archiviazione di grandi quantità di dati in un cluster ed è così responsabile all’interno del framework per la conservazione dei dati. In più i file vengono scomposti in blocchi e distribuiti in modo ridondante senza uno schema preciso su diversi nodi. Secondo gli sviluppatori, HDFS è in grado di gestire una quantità di dati con cifre a tre zeri (quindi che si aggirano intorno a diversi milioni). Si possono configurare a proprio piacimento sia la lunghezza dei blocchi sia il grado di ridondanza.
Il cluster di Hadoop funziona essenzialmente secondo il principio master-slave: l’architettura del framework è composta da un nodo master a cui sono subordinati molti nodi slaves. Questo principio si riflette anche nella struttura del HDFS, che si basa su un NameNode e diversi DataNodes subordinati. Il NameNode gestisce tutti i metadati del file system, mantenendo la struttura delle cartelle e i file. L’immagazzinamento dei dati vero e proprio avviene sui DataNodes subordinati. Per ridurre le perdite di dati, i file vengono scomposti in singoli blocchi e salvati più volte su diversi nodi. La configurazione standard prevede che ogni blocco sia presente in una tripla versione.
Ogni DataNode invia al NameNode un segno di vita ad intervalli regolari, chiamati Heartbeat. Se questo segnale manca, il NameNode dichiara il corrispettivo slave “morto” e si occupa di garantire, grazie alle copie di dati su altri nodi, che siano disponibili abbastanza copie dei blocchi coinvolti nel cluster, nonostante il crash. Al NameNode spetta un ruolo centrale all’interno del framework. Per evitare che si verifichi un “Single Point of Failure”, si è soliti affiancare a questo nodo master un SecondaryNameNode, che si contraddistingue per i cambiamenti complessivi in riferimento ai metadati e consente così un ripristino delle istanze di controllo principali.
Nel passaggio da Hadoop 1 a Hadoop 2, HDFS è stato ampliato con altri sistemi di sicurezza: NameNode HA (High Availability) aggiunge al sistema una protezione automatica contro i crash, avviando automaticamente un componente sostitutivo in caso di un crash del NameNode. Una funzione di snapshot consente inoltre di riportare il sistema ad uno stadio precedente. Così tramite l’estensione Federation si possono gestire più NameNodes all’interno di un cluster.
Un altro componente fondamentale del core di Hadoop è l’algoritmo sviluppato da GoogleMapReduce, che nella versione 1 di Hadoop è implementato ancora come engine autonomo. I compiti principali di questo engine sono la gestione delle risorse, il controllo e il monitoring dei processi di calcolo (job scheduling/monitoring). L’elaborazione dei dati consta quindi essenzialmente delle fasi “Map” e “Reduce”, che consentono la modifica dei dati direttamente nel luogo di archiviazione (Data Locality), accelerando così le tempistiche di calcolo e riducendo la portata della rete. Durante la fase Map, i processi di calcolo complessi (jobs) vengono scomposti in singole parti e distribuiti da un JobTracker al nodo master a molti sistemi slave nel cluster. Là i TaskTracker fanno in modo che i processi scomposti in parti vengano portati a termine parallelamente. Nella successiva fase di Reduce vengono raccolti i risultati intermedi e convogliati in un esito complessivo.
Mentre i nodi master contengono solitamente i componenti NameNode e JobTracker, su ogni slave subordinato lavorano rispettivamente un DataNode e un TaskTracker. Con la release di Hadoop Version 2.3, il MapReduce Engine è stato drasticamente rielaborato. Il risultato è la tecnica di gestione del cluster YARN/MapReduce 2.0, che separa la gestione delle risorse e quella dei compiti del MapReduce (job scheduling/monitoring) e sfrutta il framework per nuovi modelli di rielaborazione e un’ampia scelta di applicazioni per i Big Data.
Con l’introduzione del modulo YARN (“Yet Another Resource Negotiator“), a partire dalla versione 2.3, è stata modificata notevolmente l’architettura di Hadoop. Si parla perciò anche di un passaggio da Hadoop 1 a Hadoop 2. Mentre Hadoop 1 mette a disposizione degli utenti solo l’applicazione MapReduce, la separazione della gestione delle risorse e dei compiti dal modello di elaborazione dei dati consente di integrare nel framework molte applicazioni per i Big Data. Di conseguenza MapReduce è su Hadoop 2 solo una delle possibili applicazioni per l’accesso ai dati, che si possono eseguire nel framework. Infatti il framework non viene più considerato da tempo come un semplice ambiente di test del MapReduce, dove YARN ricopre, invece, il ruolo di un sistema operativo distribuito per la gestione delle risorse per le applicazioni per i Big Data.
Le modifiche sostanziali dell’architettura di Hadoop riguardano soprattutto i due tracker del MapReduce Engine, che su Hadoop 2 non sono più dei componenti autonomi e il modulo YARN si basa perciò su tre nuovi elementi: il ResourceManager, il NodeManager e l’ApplicationMaster.
Se dovesse essere eseguita un’applicazione per i Big Data su Hadoop 2, sono essenzialmente coinvolti nel processo 3 agenti principali:
Nel primo passaggio il client trasmette l’ordine al ResourceManager che deve essere avviata un’applicazione per i Big Data nel cluster e viene perciò allocato un contenitore. Detto in altre parole, il Resource Manager prenota le risorse del cluster per l’applicazione e contatta un NodeManager. Il NodeManager interpellato avvia il contenitore ed esegue qui un ApplicationMaster, che è a sua volta responsabile dell’esecuzione e del controllo dell’applicazione.
Oltre ai componenti del core, l’ecosistema di Hadoop comprende diverse estensioni, portate avanti da progetti software separati e che contribuiscono alla funzionalità e alla flessibilità del framework. Per via del codice sorgente aperto e delle moltissime interfacce si possono combinare questi componenti aggiuntivi a piacimento con le funzioni principali. La seguente lista indica una selezione dei progetti più conosciuti nell’ecosistema di Hadoop:
Il framework per i Big Data gode di una grande popolarità in moltissime aziende, visto che un cluster per Hadoop per l’elaborazione di grandi quantità di dati si può realizzare grazie a computer standard. Tra le aziende più prestigiose che utilizzano Hadoop si contano Adobe, AOL, eBay, Facebook, Google, IBM, LinkedIn, Twitter e Yahoo. Oltre alla possibilità di poter salvare ed elaborare parallelamente i dati su architetture distribuite in modo facile, il software open source si contraddistingue soprattutto per la sua stabilità, ampliabilità e per una grande varietà di funzioni.
Un backup del server è il modo migliore per proteggere dati importanti del vostro progetto online e prevenire la perdita di dati. Soprattutto negli ambienti server, si applica una sofisticata strategia di backup, che considera tutti i dispositivi finali. A tale scopo servono programmi di backup affidabili. Oltre alle soluzioni software e ai servizi online spesso molto costosi, ci sono applicazioni...
L’archiviazione e la compressione dei file contribuiscono positivamente ad aumentare la sicurezza e la stabilità del sistema. Per Linux e altri sistemi compatibili con UNIX esistono innumerevoli programmi liberi grazie ai quali potete creare file di archivio inalterati o compressi tramite riga di comando, per poi decomprimerli nuovamente. Tra i classici dei programmi di archiviazione per Linux...
Il server Apache HTTP è uno tra i più diffusi web server standard, utilizzato per mettere a disposizione i documenti HTTP su Internet. Si può però configurare il web server Apache per eseguire test delle pagine o verificare gli script anche su un PC con Windows; vi basterà procurarvi il pacchetto software gratuito e dedicare qualche minuto all’installazione.
Cos'è esattamente Solr? In combinazione con la libreria Java Lucenepotete costruire potenti motori di ricerca web con Solr. Avete bisogno di indicizzare i vostri documenti? Se ne può occupare Solr. Iniziamo spiegando le basi del software open source e le sue caratteristiche. A seguire illustriamo come impostare il server di ricerca. Vi suggeriamo anche in quali casi Elasticsearch è un'interessante...
Grazie alla sua versatilità il software open source Apache Kafka è molto apprezzato in numerose aziende. Questa soluzione, usata per salvare e rielaborare i dati, fa la differenza soprattutto grazie a elevate performance, grande scalabilità e tolleranza degli errori, che permettono di usarlo ovunque sia richiesto uno scambio di informazioni affidabile e in tempo reale.
Offri ai tuoi clienti servizi professionali e affidabili con l'hosting di IONOS.
Scopri i pacchetti
Dominio omaggio per un anno