Entropia di Shannon

Misurare il contenuto informativo e l'imprevedibilità di un'origine dati.

Ingresso probabilità/conteggi

Inserisci probabilità o conteggi

I valori vengono normalizzati automaticamente.

Analisi dell'entropia

Entropia dell'informazione (H)1Bit per simbolo

Stati di origine2

Entropia relativa100.0%Max Uncertainty

Overview

L'entropia di Shannon quantifica la quantità di informazioni \"a sorpresa\" o medie contenute in ciascun simbolo prodotto da una fonte. Viene misurato in bit per simbolo e rappresenta il limite teorico per la compressione dei dati senza perdita di dati.

💡

Pro Tips

Valori di entropia più elevati significano che la fonte è più casuale e meno prevedibile.
Nella crittografia, l’elevata entropia è essenziale per generare chiavi forti e imprevedibili.
Se inserisci i conteggi (come 20, 30), la calcolatrice li convertirà in probabilità per te.

Fun Facts

"Un lancio corretto di una moneta ha un'entropia esattamente di 1,0 bit, mentre una moneta distorta che cade sempre testa ha 0 bit di entropia perché non c'è incertezza."
"Il termine fu coniato da Claude Shannon nel suo fondamentale articolo del 1948, \\\"A Mathematical Theory of Communication\\\", che fondò il campo della teoria dell'informazione."
"L’entropia è massimizzata quando tutti i possibili risultati sono ugualmente probabili, rappresentando uno stato di massima incertezza."

Formula: H = -Σ pᵢ log₂(pᵢ)

Used with this

Similar tools that might be useful

Calcolatore per test A/B

Determina se i risultati del test sono statisticamente significativi.

Incertezza assoluta vs incertezza relativa

Convertire tra l'incertezza assoluta (± unità) e relativa (%).

R-quadrato modificato

Valutare l'adattamento del modello tenendo conto del numero di predittori.