L’entropia per misurare la quantità di informazione e vedere in che direzione sta andando. Claude Shannon nella sua Teoria dell’Informazione definisce il concetto di Bit, da cui deriva (anche) il Byte

In questo articolo si parla di:

In un periodo caratterizzato da una pioggia di informazioni e dai molteplici modi per dissimularla, individuarla, moltiplicarla o dividerla, l’unità di misura dell’entropia, intesa come unità di misura della quantità di informazione, è un dato per sua natura fondamentale per comprendere come viaggiano e dove vanno le informazioni, ancor prima che conoscere la loro qualità.

Cos’è un Bit: Claude Shannon e il problema della riproduzione dell’informazione

Claude Shannon definisce il concetto di Bit, ovvero l’unità di misura dell’entropia a seguito della formulazione della Teoria dell’Informazione, mettendo in discussione il problema della riproduzione dell’informazione – intesa come messaggio che passa da un punto all’altro – sia dal punto di vista probabilistico che filosofico. Di qui l’articolo “A Mathematical Theory of Communication“, che introduce il concetto della natura probabilistica dell’informazione, sottolineando come dal punto di vista delle probabilità, un messaggio viene sempre selezionato in un set di possibili messaggi che è già stato definito a priori, e viene messo in discussione anche dopo la trasmissione del messaggio stesso, divenendo esso stesso stesso parte integrativa del messaggio.

Rimuovere l’incertezza e definire gli eventi

Il termine Bit deriva dall’unione di due termini: binary (binario) e digit (cifra). La definizione di binario insita nel concetto di Bit ne stabilisce dunque il suo utilizzo colloquiale come sinonimo di cifra binaria, da cui però, nella spiegazione del suo significato, si distingue. Nel suo articolo, Claude Shannon non formalizza tuttavia in maniera coriacea il termine con cui definire l’unità dell’Informazione, ma definisce, attraverso una serie deduzioni, che 1 bit è la quantità di informazioni necessaria e sufficiente a rimuovere l’incertezza, quindi lo smacco probabilistico, che potrebbe impedire il verificarsi di uno tra due eventi equiprobabili ed esclusivi in maniera mutua, cioè uno a servizio dell’altro.

Meccanica Vs Informatica: l’entropia

A livello informatico e a livello ingegneristico la quantità di informazione si assomiglia perché in entrambi i contesti esiste il concetto di entropia. Infatti, anche in meccanica statistica e termodinamica l’entropia – dal greco antico ἐν en, “dentro”, e τροπή tropè, “trasformazione”- è una grandezza che misura il disordine presente in un sistema fisico. Nella termodinamica l’entropia rappresenta una funzione di stato di un sistema in equilibrio termodinamico, cioè nel rapporto tra lavoro e calore prodotto. Nella definizione estesa ciò significa che quando un sistema passa da uno stato di equilibrio ordinato ad uno stato di equilibrio disordinato la sua entropia aumenta, fornendo un’indicazione sulla direzione in cui sta evolvendo.

Il Byte come unità per misurare la memoria di un calcolatore

Il byte è invece il numero di bit necessari a codificare un carattere di testo in un computer. Lo standard IEEE 1541-2002 stabilisce che “B” in maiuscolo è il simbolo che indica il byte. I suoi multipli e sottomultipli stanno a indicare la capacità di memoria di un computer.

Author: Claudia Sistelli

© Riproduzione Riservata