La cantidad de información es una medida de la disminución de incertidumbre de un suceso. La cantidad de información que se obtiene al conocer un hecho es directamente proporcional al número posible de estados previos, y proporcional a la Probabilidad. Según Shannon:
La de los mensajes es su cantidad de bits en binario: la cantidad de símbolos posibles que representan el mensaje.
La entropía de Shannon es la suma ponderada de todas las cantidades de información de todos los posibles estados de una variable aleatoria :
Si , por lo que si el suceso es seguro o cierto entonces desaparece la incertidumbre. es proporcional a la longitud media de los mensajes, por lo que, dado un alfabeto cualquiera, es conveniente codificar en mensajes cortos los símbolos más comunes.
Un bit mide la cantidad de información asociada al suceso con dos posibilidades equiprobables. Ej: se requiere 1 bit para el resultado de tirar una moneda, y 4 bits para almacenar los dígitos decimales.
Dentro de un sistema de transmisión, la entropía es la cantidad de información media de sus mensajes, tal que .
Si un conjunto de mensajes todos son equiprobables, la entropía total es . La entropía indica la cantidad de bits necesarios para representar un mensaje.
Teorema de Disminución de la Entropía: la entropía de una variable condicionada por otra es menor o igual a la entropía de : . Si fueran iguales, entonces e serían independientes.
Shannon propone como la cantidad de información que contiene sobre . Se cumple que y . Esto significa que la que aporta conocer al medir es igual a la disminución de entropía que este conocimiento conlleva.