Che cos’è Unicode? Definizione e spiegazione

La nascita di linguaggi permette la trasmissione di conoscenza e la sua conservazione di generazione in generazione. Lo sviluppo della scrittura ha semplificato ulteriormente questo passaggio di conoscenza.

Molti dei sistemi di scrittura usati oggigiorno hanno migliaia di anni. A confronto, il testo in formato digitale è piuttosto recente. Inizialmente, la sua riproduzione era orientata verso la lingua inglese. Da allora una parte considerevole delle interazioni umane ha iniziato ad avere luogo nelle reti globali digitali. Le persone si scambiano informazioni superando i confini linguistici e geografici. Questo cambiamento ha portato a un ripensamento e al successivo sviluppo di una struttura unitaria per lo scambio di testi di diversi sistemi di scrittura e dei vari caratteri. Allo stesso tempo, il progresso tecnologico ha aperto nuove possibilità per la riproduzione dei caratteri.

Un esempio chiaro: pensate alle tanto usateemoji sul vostro smartphone. Potete usare queste icone colorate grazie a un’apposita tastiera, come fossero lettere, quasi come facessero parte dell’alfabeto. Ma come funziona? La risposta sta nello standard Unicode.

Registrazione dominio

Più di un semplice nome!

Registra il tuo dominio con IONOS e approfitta di tutte le nostre funzionalità.

E-Mail
SSL Wildcard
Supporto 24/7

Che cos’è Unicode?

Unicode corrisponde a un sistema di codifica universale dei caratteri. Il termine deriva dall’inglese “Universal Character Encoding”. Si tratta di uno standard per la codifica dei caratteri scritto in rappresentazione binaria, che permette di salvare ed elaborare i testi con sistemi digitali.

Unicode rappresenta una novità in quanto non è legato ai formati e alle codifiche di un singolo alfabeto di una lingua umana. Unicode è stato ideato con l’obiettivo di servire da standard uniforme per la riproduzione di tutti i sistemi di scrittura sviluppati dagli uomini e dei rispettivi caratteri.

Dalla pubblicazione di Unicode 1.0 alla fine del 1991, lo standard ha raggiunto quello che era lo scopo iniziale. Oggi browser e sistemi operativi usano internamente Unicode come formato uniforme. La versione 13.0, rilasciata nel 2020 da Unicode Consortium, ha riassunto il repertorio dello standard Unicode composto da un totale di 143.859 caratteri.

Unicode Consortium è un’organizzazione senza scopo di lucro con sede in California che promuove il continuo sviluppo dello standard. Tra i membri del consorzio si annoverano imprese tecnologiche di primissimo livello come Adobe, Apple, Facebook, Google, IBM, Microsoft, Netflix e SAP. Il set di caratteri corrispondenti allo standard Unicode coincide esattamente con quello dello Universal Coded Character Set (UCS), contenuto nella norma internazionale ISO/IEC 10646.

Base tecnologica per la codifica dei caratteri

La scrittura e i testi sono onnipresenti nella vita dell’uomo moderno. Leggere e scrivere fanno parte delle prime capacità culturali che una persona impara a scuola. Non sorprende dunque che tante persone diano per assodata la presenza della scrittura digitale. Ma come funziona la riproduzione degli scritti da un punto di vista tecnico? Scoprite con noi il mondo della codifica testuale digitale.

Per prima cosa è importante comprendere che tutte le informazioni presenti in un sistema digitale si basano su una catena infinita di zeri e uno: la rappresentazione binaria. Il codice binario assomiglia per certi versi a un alfabeto, ma si compone soltanto di due “lettere”, appunto zero e uno. Ogni posizione all’interno di una sequenza composta da zeri e uno si definisce “bit”.

Il trucco della tecnologia dell’informazione sta nel comporre i caratteri dei vari alfabeti come sequenze di zeri e uno. In questo modo si riescono a codificare sia i numeri che le lettere, ma anche a distinguere tra tutti gli altri stati. Generalmente si parla di simboli. Più lunga è la sequenza di zeri e uno per la rappresentazione di un singolo simbolo, più simboli si possono riprodurre. Con l’aggiunta di ogni bit raddoppia il numero dei simboli possibili.

Un esempio concreto: immaginatevi di avere delle “parole” binarie della lunghezza di due bit. Queste permettono di codificare quattro numeri:

Parola di 2 bit

Numero

00

0

01

1

10

2

11

3

Aggiungendo un ulteriore bit all’inizio della sequenza, raddoppia il numero delle possibili parole. Queste si compongono delle sequenze di bit già menzionate, con l’aggiunta di un uno o uno zero davanti. In questo modo possiamo codificare otto numeri:

Parola di 3 bit

Numero

000

0

001

1

010

2

011

3

100

4

101

5

110

6

111

7

Fatto

Una parola di 8 bit viene definita ottetto o byte.

Per motivi di semplicità abbiamo deciso di mostrarvi la codifica dei numeri. Lo stesso principio trova però utilizzo nei sistemi digitali anche per la codifica di lettere o di qualsiasi altro simbolo o stato. Di seguito proponiamo l’esempio molto semplificato di un codice binario di lettere:

Parola di 3 bit

Lettera

000

A

001

B

010

C

Fate attenzione che la spiegazione fin qui non tiene in considerazione il tipo di font utilizzato. Infatti, qui parliamo solamente del modello interno su cui si basa la riproduzione digitale dei caratteri. La rappresentazione grafica di un carattere prende il nome diglifo.

In base al font usato ci sono diversi glifi per lo stesso carattere. Addirittura, uno stesso font può contenere più varianti per uno stesso glifo. Per esempio, pensate a diversi pesi, legature e corsivi. Di seguito trovate una rappresentazione avanzata che riassume la corrispondenza di caratteri e glifi:

Rappresentazione binaria Numero decimale Carattere codificato Glifo
1000001 65 “A“ maiuscola dell’alfabeto latino A
1100001 97 “a“ minuscola dell’alfabeto latino a
0110000 48 Cifra araba “0”  
0111001 57 Cifra araba “9” 9
11001000 200 “È” maiuscola È
11101000 232 “è” minuscola è

Terminologia della codifica dei caratteri

La codifica digitale dei caratteri comprende una serie di concetti specifici. L’uso dei vari termini ha un uso simile in italiano. Per poter dare una definizione Unicode precisa, riportiamo di seguito anche i termini in inglese:

Termine Significato Termine inglese
Set di caratteri Il numero di possibili caratteri, ad esempio le cifre “0–9“, le lettere “a–z“, ecc. Character set
Punto di codice o posizione di codice Il numero assegnato a un determinato carattere all’interno dello spazio di codice Code point
Codice di carattere Assegnazione di un qualsiasi carattere a un punto di codice Coded character set
Codifica di carattere Il processo per la trasformazione di un carattere in una struttura tecnica, ad esempio una rappresentazione binaria Character encoding

Le codifiche di carattere più comuni

Dalla comparsa di Unicode si sono verificate una grande quantità di codifiche specifiche. La regola prevedeva l’uso di una codifica per ogni linguao famiglia linguistica. Questo ha portato spesso a errori di rappresentazione e incongruenze nei dati. Per evitare che ciò continuasse ad accadere, le codifiche dei caratteri sono spesso state modellate come sovrainsiemi degli standard già esistenti, compatibili con le versioni precedenti. Per questo motivo lo standard Unicode moderno si basa sulla precedente codifica dei caratteri ISO Latin-1, basata a sua volta sul codice ASCII.

Codifica dei caratteri Bit per carattere Caratteri possibili Set di caratteri
ASCII 7 Bit 128 Lettere, numeri e caratteri speciali della tastiera statunitense, così come i caratteri di controllo per telescrivente
ISO Latin-1 (ISO 8859-1) 8 Bit 256 I primi 128 caratteri come ASCII, i successivi 128 caratteri per i caratteri speciali delle lingue europee
Universal Coded Character Set 2 (UCS-2) 16 Bit 65.536 Caratteri del “Basic Multilingual Plane”(BMP); i primi 256 caratteri corrispondono a quelli di ISO Latin-1
Universal Coded Character Set 4 (UCS-4) 32 Bit 1.114.111 I caratteri del BMP più degli altri; in totale 143.859 caratteri nella versione 13.0 di Unicode; i primi 256 caratteri corrispondono a quelli di ISO Latin-1
UCS Transformation Format 8 Bit (UTF-8) 8/16/24/32 Bit 1.114.111 Qualunque carattere derivante da UCS-2 e UCS-4; i primi 256 caratteri corrispondono a quelli di ISO Latin-1

Registra subito un dominio .it in offerta speciale!

Registra ora il tuo dominio .it con un consulente personale incluso!

Semplice
Sicuro
Assistenza 24/7

Struttura dello standard Unicode

Lo standard Unicode definisce i caratteri e i punti di codice corrispondenti per lettere, sillabe, ideogrammi, interpunzione, caratteri speciali e cifre. Oltre all’alfabeto latino supporta anche quello greco, cirillico, arabo, ebraico, tailandese. A questi si aggiungono anche le grafie giapponesi (katakana, hiragana), cinesi e coreane. Infine, comprende anche i caratteri speciali matematici, commerciali e tecnici, come gli storici caratteri di controllo per telescriventi.

I caratteri sono riassunti in una serie di tabelle. Di seguito vi forniamo una panoramica delle tabelle di caratteri più usate.

I sistemi di scrittura dello standard Unicode

Tabella dei caratteri Alcuni degli alfabeti contenuti
Sistema di scrittura europeo Armeno, georgiano, greco, latino
Sistema di scrittura africano Etiope, geroglifici egizi, copto
Sistema di scrittura mediorientale Arabo, ebraico, siriano
Sistema di scrittura centroasiatico Mongolo, tibetano, turco antico
Sistema di scrittura dell’Asia meridionale Brahmi, tamil, vedica
Sistema di scrittura sud-est asiatico Khmer, rohingya, tailandese
Sistema di scrittura oceanico e indonesiano Balinese, buginesiano, giavanese
Sistema di scrittura dell’Asia orientale CJK (cinese, giapponese, coreano), hangul (coreano), hiragana (giapponese)
Sistema di scrittura americano Cherokee, scrittura sillabica canadese, osage

Simboli e set di caratteri dello standard Unicode

Tabella dei caratteri Alcuni dei caratteri contenuti
Set di caratteri Caratteri della lingua inglese, caratteri delle lingue europee, caratteri CJK
Simboli alfanumerici Lettere matematiche, lettere cerchiate
Simboli tecnici Simboli per il linguaggio di programmazione APL, simboli per il riconoscimento ottico dei caratteri
Numeri e cifre Cifre maya, numeri siyaq ottomani, cifre della scrittura cuneiforme sumera
Simboli matematici Frecce, operatori matematici, forme geometriche
Emoji e pittogrammi Emoticon, dingbat, altri pittogrammi
Altri simboli Simboli alchemici, simboli delle valute, simboli degli scacchi, simboli del domino e simboli del mahjong
Sistemi di notazione Scrittura braille, note musicali, stenografia Duployan

Per cosa si usa lo standard Unicode?

Lo standard Unicode serve principalmente da base fondamentale per l’elaborazione, l’archiviazione e lo scambio di testi in qualsiasi lingua. La maggior parte delle componenti software moderne quali librerie, protocolli, database, ecc., che operano sui testi, sono basate su Unicode. I seguenti esempi servono a chiarire la vastità delle possibilità del suo utilizzo.

Sistemi operativi

Nella maggioranza dei sistemi operativi moderni, Unicode è lo standard interno per la riproduzione testuale. Alcuni sistemi operativi come macOS di Apple permettono l’uso di caratteri Unicode nei nomi dei file.

Siti web

La variante di Unicode UTF-8 si è imposta come standard per la codifica dei documenti in HTML. Già nel 2016 più dell’80 % dei siti web più visitati a livello mondiale utilizzavano UTF-8 per l’archiviazione e la riproduzione dei loro documenti HTML. Per l’uso di lettere non ASCII nei nomi di dominio si è invece affermato lo standard Punycode.

Il website builder di IONOS

MyWebsite è la soluzione perfetta per la tua presenza online professionale e include un consulente personale! 

Certificato SSL
Dominio gratis
Supporto 24/7

Linguaggi di programmazione

Molti dei linguaggi di programmazione moderni si servono di Unicode come base per l’elaborazione di testi. Un ulteriore sviluppo è la possibilità di usare i caratteri Unicode per la denominazione di variabili e funzioni. Tra i vari linguaggi è possibile in ECMAScript/JavaScript, come dimostrato dal seguente codice:

let ✔︎ = true;
let ✘ = false;
if (bool_var === ✔︎) {
 // …
}

Database

Il molto apprezzato e ampiamente utilizzato database MySQL supporta l’intero set di dati Unicode con la codifica di caratteri “utf8mb4”. L’uso della codifica di caratteri “utf8” comporta invece la perdita di caratteri il cui punto di codice eccede i 3 byte.

Font

I font contengono glifi che servono per la riproduzione grafica del testo. A causa della grande quantità di caratteri dello standard Unicode, nessun font li contiene tutti. Servono diversi font a comprendere tutti quelli del Basic Multilingual Plane. Un paio di esempi:

Font Unicode Glifi Licenza
Noto ca. 65.000 Open Font License
Sun-ExtA/B ca. 50.000 Freeware
Unifont ca. 63.000 GNU GPL
Code2000 ca. 63.000 Shareware

Come si imposta Unicode?

In molti casi gli utenti ricorrono a Unicode senza neanche saperlo. Il testo digitale è presentenella maggior parte dei documenti e dei programmi sotto forma di Unicode e può essere copiato, incollato e modificato dall’utente a suo piacimento. A volte risulta necessario per l’utente finale aggiungere un determinato carattere Unicode all’interno di un testo. Per farlo, ci sono diverse possibilità che vi presentiamo qui di seguito.

Tastiere speciali

L’impiego di speciali tastiere software è in assoluto il metodo più diffuso per aggiungere caratteri Unicode in un testo. Su tutti i dispositivi mobili queste tastiere rendono possibile passare da una lingua a un’altra e quindi da un alfabeto a un altro. Cambiando l’alfabeto cambiano anche i tasti, ma i caratteri che compaiono appartengono tutti al repertorio Unicode. I caratteri dei vari alfabeti possono essere liberamente mischiati e combinati tra loro.

Un buon esempio sono le emoji: all’interno di Unicode le emoji sono dei normali caratteri, alla stregua di lettere, numeri e caratteri speciali. Come spesso accade per i caratteri digitali, la riproduzione delle emoji è indipendente, ogni sistema operativo riproduce la stessa emoji in maniera leggermente diversa.

Le utili tastiere software non trovano impiego solo ed esclusivamente sui dispositivi mobili, ma sono presenti anche su desktop. Sono disponibili con Windows, macOS e molte distribuzioni Linux e, in base alla lingua scelta, offrono una quantità variabile di caratteri. Poiché il numero dei tasti è limitato, non riportano tutti i caratteri Unicode. Al contrario, si tratta di una scelta dei caratteri più comunemente usati specifica per la relativa lingua.

Tabelle dei caratteri Unicode

Dopo le tastiere software, le tabelle di caratteri Unicode rappresentano il modo più conveniente per servirsi dei caratteri Unicode. Ricordiamo che un codice di carattere (“coded character set”) corrisponde alla quantità di tutti i caratteri, inclusi i rispettivi punti di codice univoci. L’organizzazione in tabelle si presta bene per questo tipo di struttura e infatti lo standard Unicode comprende le cosiddette Code Charts.

Da un lato queste tabelle permettono di copiare caratteri specifici da riutilizzare altrove. Dall’altro danno la possibilità all’utente finale di leggere il punto di codice di un carattere, ad esempio per usarlo come riferimento numerico del carattere (maggiori informazioni a riguardo nel prossimo paragrafo).

Anche molti sistemi operativi per desktop contengono una tabella di caratteri Unicode. Questo offre una panoramica di tutti i caratteri Unicode disponibili, inclusi punto di codice, descrizione e glifi. Un carattere può essere aggiunto con un clic o copiandolo. Una tabella di caratteri può essere creata con poche righe di codice. Più avanti in questo articolo vi mostriamo un esempio servendoci del linguaggio di programmazione Python.

Riferimento numerico dei caratteri

Al centro dello standard Unicode vi è l’assegnazione di caratteri ai punti di codice. Se si conosce il punto di codice di un carattere, lo si può usare per inserire il carattere corrispondente in vari contesti. In Windows, l’inserimento di simboli Unicode avviene digitando una speciale combinazione di tasti attraverso la normale tastiera fisica. Ricordate però che il numero del punto di codice deve solitamente essere inserito in caratteri esadecimali.

Nella maggior parte dei casi i programmatori hanno bisogno dei riferimenti numerici dei caratteri. La rappresentazione esadecimale dei punti di codice permette la riproduzione di un carattere Unicode con caratteri appartenenti al set ASCII. Di seguito vi mostriamo il procedimento in HTML, ma dal punto di vista teorico vale anche per Python, C++ e altri.

Lo schema generale per inserire un carattere attraverso il suo riferimento numerico consiste nel riferimento stesso preceduto da un termine di apertura e seguito da un termine di chiusura: nei documenti HTML il riferimento numerico si apre con “&#x” e si chiude con “;”. Nel mezzo va riportato il punto di codice esadecimale di minimo due e massimo quattro cifre, senza lasciare spazi vuoti. Il modello da usare è quindi “&#xNNNN;”.

Per includere il simbolo del copyright “©” in un documento HTML seguite questo procedimento:

  1. Cercate il carattere in una tabella Unicode.
  2. Segnatevi il punto di codice relativo al carattere.

In questo esempio, il punto di codice rappresentato in caratteri esadecimali è “U+00A9”.

  1. Riportate il riferimento del carattere nel codice sorgente HTML o aggiungete un documento in markdown.

Nel nostro caso inseriamo “©“ che restituisce il simbolo “©”.

In alternativa potete usare i punti di codice inserendoli con caratteri decimali invece che esadecimali. Tuttavia, questo approccio è meno comune. In questo caso il riferimento numerico inizia con “&#” (ovvero senza la “x”) e si conclude sempre con “;”. All’interno di questo intervallo si riporta il punto di codice in rappresentazione decimale. Sempre con riferimento all’esempio di cui sopra, il riferimento numerico per il simbolo del copyright andrebbe inserito così “&#169”.

Consiglio

Usate lo Unicode Character Inspector per scoprire velocemente i codici corrispondenti a un carattere.

Le entità

Poiché il modo di scrivere i caratteri Unicode come riferimenti numerici è tutt’altro che intuitivo, ci sono altri metodi a disposizione: le entità. Queste vengono definite per i caratteri più comunemente usati e assegnano al carattere un nome breve e facile da ricordare. Un’entità inizia con il carattere “&” e termina con il punto e virgola “;”. Nel mezzo si posiziona il nome stabilito senza spazi. Per aggiungere il simbolo del copyright “©” in un documento HTML è sufficiente scrivere “©”.

Consiglio

Potete trovare Lla lista completa dei riferimenti dei caratteri nello standard HTML.

Linguaggi di programmazione

La maggior parte dei linguaggi di programmazione contiene funzioni di base per trasformare i caratteri e i punti di codice. Queste funzioni prendono spesso il nome di “ord()” e “chr()”.

‘chr(ord(carattere)) == carattere’

Sappiate che è sempre possibile risalire al punto di codice corrispondente a un carattere. In senso contrario la corrispondenza funziona solo per i numeri effettivamente definiti come punto di codice del carattere codificato. Di seguito vi mostriamo lo schema di base ricorrendo a un esempio con Python:

# Determinare il punto di codice decimale di un carattere
ord('A') # `65`
# Determinare il punto di codice esadecimale di un carattere
hex(ord('A')) # `0x41`
# Determinare il carattere corrispondente al punto di codice
chr(65) # `'A'`
chr(0x41) # `'A'`
chr(0x110001) # errore, poiché il punto di codice > `0x110000`

Grazie a queste funzioni si può facilmente creare una tabella per i punti di codice del set di caratteri Unicode. Per farlo basta ripetere i punti di codice e indicare i caratteri corrispondenti. Con Python lo si può fare con poche righe di codice:

# iniziare `range` con `32`, poiché con valori più piccoli si ottengono i caratteri di controllo
# Fornire set di caratteri ASCII
for code_point in range(32, 128):
# Fornire ISO Latin-1
for code_point in range(32, 256):
# Fornire punto di codice in rappresentazione decimale ed esadecimale assieme al carattere corrispondente
  print(code_point, hex(code_point), chr(code_point))

Libreria dei linguaggi di programmazione ICU

I componenti internazionali per Unicode (International Components for Unicode”, ICU) sono raccolti in una libreria di linguaggi di programmazione messa a disposizione da Unicode Consortium. La libreria rilasciata con licenza open source può essere usata in molti sistemi operativi. Il software serve all’internazionalizzazione della programmazione (“Internationalization” spesso abbreviato come “i18n”). Tra i settori di utilizzo vi sono:

  • Elaborazione di testi Unicode
  • Supporto di espressioni regolari in Unicode
  • Analisi sintattica (parsing) o formattazione di date, orari, numeri, valute e messaggi

La libreria ICU è disponibile in due versioni:

  • La “icu4c” è scritta in C/C++ e mette a disposizione una API per questi linguaggi di programmazione.
  • La “icu4j” è scritta in Java e mette a disposizione una API per questo linguaggio di programmazione.

L’utilizzo delle componenti porta a risultati consistenti indipendentemente dalla piattaforma in uso.

Attributo charset nell’head dei documenti HTML

Ad oggi, la maggior parte dei documenti HTML è disponibile nella codifica di caratteri UTF-8. Per assicurarsi che un visitatore riesca a visualizzare il documento con i caratteri corretti, dovrebbe essere inserito un attributo meta Charset nell’head del documento HTML. Questo serve a informare il browser che deve interpretare il documento richiesto come UTF-8:

<head>
 <meta charset="utf-8">
 <!—altri elementi dell’head -->
</head>

Font di Twitter

La piattaforma di messaggi brevi Twitter non permette alcuna formattazione testuale per tweet, profili o nomi utente. Le possibilità creative dell’utente risultano perciò limitate. Degli sviluppatori ingegnosi sono però riusciti a ideare un trucchetto: Twitter si basa su Unicode e questo permette di comporre un testo, appositamente formattato, con caratteri speciali. I più usati sono i caratteri che ricordano le lettere latine. Il modo più facile per riuscirci è quello di usare un generatore di font per Twitter.


Abbiamo una proposta per te:
Web hosting a partire da 1 €/mese!

Dominio gratis
Certificato SSL Wildcard incluso
Assistenza clienti 24/7
A partire da 1 €/mese IVA escl. per un anno,
poi 8 €/ mese IVA escl.