Količina informacija
Količina informacija može se precizno izmjeriti, a za tu spoznaju zaslužan je Klod Šenon (Claude Sannon), osnivač matematičke teorije informacije.
Kao mjera za količinu informacije uzima se najmanji broj pitanja DA / NE tipa, koje je potrebno postaviti da bi se prijemom odgovora na to pitanje postigao isti efekat kao i prijemom posmatrane informacije.
Jedinica za mjeru količine informacije naziva se Bit. 1 Bit je ona količina informacija koja se može dobiti odgovorom na jedno pitanje DA / NE tipa.
Kada imamo skupinu događaja, od kojih se neki tek treba dogoditi, a mi ne znamo koji, izračunavamo entropiju.
Entropija se definiše kao zbir proizvoda i vjerovatnoće nekog od događaja i količine informacija o tom događaju. Entropija je zapravo srednja količina informacija za skupinu događaja.
Entropija je najveća kada su svi događaji jednako vjerovatni, odnosno kada je neizvjesnost ishoda najveća. U tom smislu entropija je mjera neizvjesnosti ishoda za skupinu događaja. Entropija se smatra i mjerom nereda (haosa), jer je neizvjesnost najveća upravo u haotičnim situacijama.