Apache Spark: de­fi­ni­zio­ne e funzioni

Rispetto ad altri programmi, ad esempio il pre­de­ces­so­re Hadoop o PySpark, software della con­cor­ren­za, Apache Spark spicca per la sua per­for­man­ce im­pres­sio­nan­te. Questo aspetto è es­sen­zia­le per poter in­ter­ro­ga­re, elaborare e ana­liz­za­re grandi quantità di dati. In qualità di framework di Big Data e di analisi con approccio in-memory, Spark offre numerosi vantaggi per l’analisi dei dati, l’ap­pren­di­men­to au­to­ma­ti­co, lo streaming dei dati e il lin­guag­gio SQL.

Cos’è Apache Spark?

Apache Spark, framework di analisi dati creato a Berkeley, è at­tual­men­te con­si­de­ra­to una delle piat­ta­for­me di Big Data più diffuse al mondo ed è un “Top-Level Project” della Apache Software Foun­da­tion. Questo motore si utilizza per elaborare si­mul­ta­nea­men­te grandi quantità di dati e ap­pli­ca­zio­ni di analisi di dati in diversi cluster di computer. Spark è stato svi­lup­pa­to per sod­di­sfa­re i requisiti dei Big Data in termini di velocità di calcolo, esten­si­bi­li­tà e sca­la­bi­li­tà.

A tal proposito presenta moduli integrati che offrono numerosi vantaggi per il cloud computing, l’ap­pren­di­men­to au­to­ma­ti­co, le ap­pli­ca­zio­ni basate sull’in­tel­li­gen­za ar­ti­fi­cia­le e le basi di dati a grafo. Grazie alla sua potenza e alla sca­la­bi­li­tà, il motore viene usato anche da grandi aziende quali Netflix, Yahoo ed eBay.

Cosa rende così par­ti­co­la­re Apache Spark?

Apache Spark è un motore di analisi de­ci­sa­men­te più rapido e potente rispetto ad Apache Hadoop o Apache Hive. Rispetto a MapReduce di Hadoop elabora i dati 100 volte più ve­lo­ce­men­te se il processo avviene in memoria e 10 volte più ve­lo­ce­men­te se invece avviene su disco rigido. Offre quindi alle aziende pre­sta­zio­ni che riducono i costi e aumentano l’ef­fi­cien­za.

Spark, tuttavia, spicca in par­ti­co­la­re per la sua fles­si­bi­li­tà. Il motore non funziona solo in modo in­di­pen­den­te, ma anche or­ga­niz­za­to in cluster Hadoop con­trol­la­ti da YARN. Inoltre, se sei uno svi­lup­pa­to­re, puoi scrivere ap­pli­ca­zio­ni per Spark in vari linguaggi di pro­gram­ma­zio­ne. A tal proposito puoi usare SQL, o anche Python, Scala, R e Java.

Altre par­ti­co­la­ri­tà di Spark: il software non deve essere con­fi­gu­ra­to sul file system di Hadoop, ma può essere uti­liz­za­to anche con altre piat­ta­for­me di dati come AWS S3, Apache Cassandra o Hbase. Inoltre, se si specifica l’origine dei dati, elabora sia processi batch come in Hadoop, sia dati in streaming e diversi carichi di lavoro con un codice quasi identico. Con un processo di in­ter­ro­ga­zio­ne in­te­rat­ti­vo consente di di­stri­bui­re i dati attuali e storici in tempo reale, comprese le analisi su livelli diversi, su disco rigido e memoria ed elaborati in parallelo.

Come funziona Spark?

Il fun­zio­na­men­to di Spark si basa su un principio ge­rar­chi­co primary-secondary (in passato noto anche come principio master-slave). A questo scopo, il driver di Spark funge da nodo master gestito dal cluster manager. Questo a sua volta controlla i nodi slave e inoltra le analisi dei dati al client. Le ese­cu­zio­ni e le in­ter­ro­ga­zio­ni sono di­stri­bui­te e mo­ni­to­ra­te tramite lo Spar­k­Con­text creato dal driver Spark, il quale collabora con i cluster manager, ad esempio quelli offerti da Spark, YARN, Hadoop o Ku­ber­ne­tes. In questo modo si creano anche Resilient Di­stri­bu­ted Datasets (RDD).

È quindi Spark a de­ter­mi­na­re quali risorse verranno uti­liz­za­te per in­ter­ro­ga­re o ar­chi­via­re i dati o anche dove inviare i dati ricavati dall’in­ter­ro­ga­zio­ne. Ela­bo­ran­do i dati di­ret­ta­men­te nella memoria ad accesso casuale dei cluster di server, il motore aiuta a ridurre la latenza e offre così una per­for­man­ce molto elevata in termini di rapidità. A questo si ag­giun­go­no fasi di ela­bo­ra­zio­ne parallela e l’uso di una memoria virtuale e fisica.

Inoltre, Apache Spark elabora anche dati da diverse memorie. An­no­ve­ria­mo ad esempio Hadoop Di­stri­bu­ted File System (HDFS) e gli archivi di dati re­la­zio­na­li come Hive o database NoSQL. Infine, a seconda delle di­men­sio­ni dei record di dati, l’ela­bo­ra­zio­ne in-memory o su disco rigido aiuta a mi­glio­ra­re le pre­sta­zio­ni.

Gli RDD: insiemi di dati di­stri­bui­ti e tol­le­ran­ti all’errore

I Resilient Di­stri­bu­ted Datasets co­sti­tui­sco­no una base im­por­tan­te in Apache Spark perché con­sen­to­no di elaborare dati strut­tu­ra­ti e non strut­tu­ra­ti. Questi sono definiti ag­gre­ga­zio­ni di dati tol­le­ran­ti agli errori che, mediante il clu­ste­ring, vengono di­stri­bui­te ed elaborate su cluster di server o spostate sulla memoria di un disco. È possibile anche il passaggio ad altri modelli di analisi. I record di dati negli RDD sono suddivisi in par­ti­zio­ni logiche che possono essere in­ter­ro­ga­te, create, elaborate o calcolate at­tra­ver­so tra­sfor­ma­zio­ni e azioni.

DataFrame e set di dati

I DataFrame e i set di dati sono altri tipi di dati elaborati da Spark. I DataFrame sono API strut­tu­ra­te in tabelle di dati con righe e colonne. I set di dati invece sono un’esten­sio­ne DataFrame da usare con un’in­ter­fac­cia utente orientata agli oggetti per la pro­gram­ma­zio­ne. Con la loro struttura uniforme, i DataFrame svolgono un ruolo centrale in tutti i linguaggi di pro­gram­ma­zio­ne sotto forma di API so­prat­tut­to in relazione alla Machine Learning Library (MLlib).

Quale lin­guag­gio usa Spark?

Spark è stato svi­lup­pa­to in Scala, il lin­guag­gio primario del motore Spark Core. Inoltre, offre con­net­to­ri Java e Python. Python offre numerosi vantaggi per quanto riguarda l’analisi dei dati so­prat­tut­to per la Data Science e il Data En­gi­nee­ring eseguiti con Spark in com­bi­na­zio­ne con altri linguaggi di pro­gram­ma­zio­ne. Spark supporta anche in­ter­fac­ce API per il lin­guag­gio di pro­gram­ma­zio­ne R ap­pli­ca­bi­le a grandi record di dati e uti­liz­za­bi­le per l’ap­pren­di­men­to au­to­ma­ti­co.

Quando viene usato Spark?

Grazie alle diverse librerie e memorie Spark, le API com­pa­ti­bi­li con numerosi linguaggi di pro­gram­ma­zio­ne e l’efficace ela­bo­ra­zio­ne in-memory rendono questo lin­guag­gio adatto a diversi settori. Spark si rivela la scelta giusta so­prat­tut­to per elaborare, in­ter­ro­ga­re o calcolare grandi e complesse quantità di dati nelle ap­pli­ca­zio­ni Big Data delle grandi aziende. Grazie alla sua velocità elevata, alla sca­la­bi­li­tà e alla fles­si­bi­li­tà, offre infatti una per­for­man­ce elevata. Per questo motivo Spark viene usato molto per la pub­bli­ci­tà digitale e nell’e-commerce, per la va­lu­ta­zio­ne dei dati fi­nan­zia­ri o per i modelli di in­ve­sti­men­to nelle società fi­nan­zia­rie, nonché per le si­mu­la­zio­ni, l’in­tel­li­gen­za ar­ti­fi­cia­le e la pre­vi­sio­ne dei trend.

Spark trova impiego so­prat­tut­to in questi contesti:

• Elaborare, integrare e rac­co­glie­re grandi quantità di dati da diverse fonti e ap­pli­ca­zio­ni.
• In­ter­ro­ga­zio­ne e analisi in­te­rat­ti­va di Big Data.
• Analisi di streaming di dati in tempo reale
• Ap­pren­di­men­to au­to­ma­ti­co e in­tel­li­gen­za ar­ti­fi­cia­le
• Processi ETL di grandi di­men­sio­ni

Com­po­nen­ti e librerie im­por­tan­ti dell’ar­chi­tet­tu­ra Spark

I prin­ci­pa­li elementi dell’ar­chi­tet­tu­ra Spark sono:

Spark Core

In quanto fon­da­men­to dell’intero sistema Spark, Spark Core mette a di­spo­si­zio­ne le funzioni es­sen­zia­li di Spark e gestisce la di­stri­bu­zio­ne delle attività, l’astra­zio­ne dei dati, la pia­ni­fi­ca­zio­ne della di­stri­bu­zio­ne e i processi di input e output. Spark Core usa RDD di­stri­bui­ti su più cluster di server e computer come struttura dati. Inoltre, rap­pre­sen­ta la base per Spark SQL, le diverse librerie, Spark Streaming e tutti gli altri singoli com­po­nen­ti.

Spark SQL

Spark SQL è una libreria par­ti­co­lar­men­te adatta per uti­liz­za­re gli RDD come in­ter­ro­ga­zio­ni SQL. A questo scopo Spark SQL genera tabelle DataFrame tem­po­ra­nee. Con Spark SQL è possibile accedere a diverse fonti di dati lavorando con dati strut­tu­ra­ti ed eseguendo in­ter­ro­ga­zio­ni tramite SQL e altre API DataFrame. Inoltre, consente l’in­te­gra­zio­ne del lin­guag­gio di database HiveQL per accedere a un data warehouse gestito con Hive.

Spark Streaming

Grazie a questa ec­cel­len­te fun­zio­na­li­tà API è possibile uti­liz­za­re funzioni di streaming dei dati altamente scalabili e re­si­sten­ti agli errori, nonché elaborare o vi­sua­liz­za­re flussi di dati continui in tempo reale. Partendo dai flussi di dati, Spark genera singoli pacchetti per azioni di dati. Anche allenando specifici modelli di ap­pren­di­men­to au­to­ma­ti­co è quindi possibile usare flussi di dati.

MLIB Machine Learning Library

Questa libreria scalabile di Spark fornisce un codice di ap­pren­di­men­to au­to­ma­ti­co per l’uso di processi sta­ti­sti­ci avanzati in cluster di server o per lo sviluppo di ap­pli­ca­zio­ni di analisi. Include comuni algoritmi di ap­pren­di­men­to come clu­ste­ring, re­gres­sio­ne, clas­si­fi­ca­zio­ne e rac­co­man­da­zio­ne, servizi di flusso di lavoro, va­lu­ta­zio­ne dei modelli, sta­ti­sti­che lineari di­stri­bui­te e algebra o tra­sfor­ma­zio­ni di ca­rat­te­ri­sti­che. Con MLlib è possibile scalare e sem­pli­fi­ca­re l’ap­pren­di­men­to au­to­ma­ti­co in modo efficace.

GraphX

La API Spark GraphX serve per il calcolo parallelo dei grafi e unisce ETL, ela­bo­ra­zio­ne di grafici in­te­rat­ti­va e analisi esplo­ra­ti­ve.

Com’è nato Apache Spark?

Apache Spark è stato svi­lup­pa­to nel 2009 presso l’Uni­ver­si­tà della Ca­li­for­nia, a Berkeley, in quanto parte di AMPlabs. Dal 2010 Spark è di­spo­ni­bi­le gra­tui­ta­men­te al pubblico grazie a una licenza open source. Nel 2013 la Apache Software Foun­da­tion ha rilevato il progetto con­ti­nuan­do a ot­ti­miz­zar­lo. Grazie alla po­po­la­ri­tà e al po­ten­zia­le del framework per i Big Data, a febbraio 2014 l’ASF ha di­chia­ra­to Spark un “progetto di primo livello”. La versione 1.0 di Spark è stata ri­la­scia­ta a maggio 2014. At­tual­men­te (dati ag­gior­na­ti ad agosto 2023) Spark è di­spo­ni­bi­le nella versione 3.4.1.

L’obiettivo di Spark è ac­ce­le­ra­re le richieste e i compiti nei sistemi Hadoop. Usando Spark Core come base, questo motore consente l’invio di­stri­bui­to di compiti, fun­zio­na­li­tà di input-output e l’ela­bo­ra­zio­ne in-memory, superando quindi net­ta­men­te MapReduce, fino ad allora molto usato nel framework Hadoop.

Quali vantaggi offre Apache Spark?

Spark offre i seguenti vantaggi per l’in­ter­ro­ga­zio­ne ed ela­bo­ra­zio­ne rapide di gradi quantità di dati:

• Velocità: i carichi di lavoro possono essere elaborati ed eseguiti con una rapidità 100 volte superiore rispetto a MapReduce di Hadoop. Ulteriori vantaggi in termini di per­for­man­ce derivano dal supporto per l’ela­bo­ra­zio­ne di batch e dati di streaming, grafi orientati aciclici, un motore fisico di ese­cu­zio­ne e l’ot­ti­miz­za­zio­ne delle query.
• Sca­la­bi­li­tà: grazie all’ela­bo­ra­zio­ne in-memory dei dati di­stri­bui­ti su cluster, Spark offre una sca­la­bi­li­tà fles­si­bi­le delle risorse.
• Coerenza: Spark è un framework completo per i Big Data che combina diverse funzioni e librerie in un’unica ap­pli­ca­zio­ne. Queste includono query SQL, DataFrame, Spark Streaming, MLlib per l’ap­pren­di­men­to au­to­ma­ti­co e GraphX per l’ela­bo­ra­zio­ne dei grafi. Da non di­men­ti­ca­re infine l’in­te­gra­zio­ne con HiveQL.
• Usabilità: grazie alle semplici in­ter­fac­ce API per una varietà di fonti di dati nonché agli oltre 80 operatori comuni per lo sviluppo di software, Spark riunisce numerose pos­si­bi­li­tà di ap­pli­ca­zio­ne in un solo framework. Par­ti­co­lar­men­te pratico è anche l’uso in­te­rat­ti­vo di shell per Scala, Python, R o SQL per poter scrivere servizi.
• Framework open source: grazie al suo approccio open source, Spark gode di una comunità globale e attiva di esperti che si occupano del suo sviluppo continuo, ri­sol­ven­do falle di sicurezza e ga­ran­ten­do una rapida in­no­va­zio­ne.
• Aumento dell’ef­fi­cien­za e riduzione dei costi: poiché Spark può essere uti­liz­za­to anche senza server high-end con strutture fisiche, la piat­ta­for­ma offre fun­zio­na­li­tà in grado di ridurre i costi e di aumentare le pre­sta­zio­ni per le analisi dei Big Data, in par­ti­co­la­re per gli algoritmi di ap­pren­di­men­to au­to­ma­ti­co e per processi di dati paralleli.

Quali svantaggi presenta Apache Spark?

No­no­stan­te tutti i punti di forza elencati in pre­ce­den­za, Spark presenta anche alcuni svantaggi. Il primo e più im­por­tan­te riguarda il fatto che Spark non dispone di un motore di memoria integrato e si affida quindi a numerosi com­po­nen­ti di­stri­bui­ti. L’ela­bo­ra­zio­ne in-memory richiede inoltre molta RAM, il che può influire sulle pre­sta­zio­ni qualora le risorse non siano suf­fi­cien­ti. Inoltre, l’uso di Spark richiede una fa­mi­lia­riz­za­zio­ne più lunga per poter com­pren­de­re i processi alla base della con­fi­gu­ra­zio­ne di un server web Apache o di altre strutture.