Entropia da informação
Esta calculadora online computa a entropia da informação para uma determinada tabela de probabilidade de evento ou determinada mensagem.
Em teoria da informação, a entropia é uma medida da incerteza em uma variável aleatória. Neste contexto, o termo geralmente se refere à Entropia da informação, que quantifica o valor esperado da informação contida em uma mensagem.
A fórmula da entropia foi introduzida por Claude E. Shannon em seu artigo "Uma teoria matemática de comunicação" em 1948.
O sinal de menos é utilizado porque os valores menores que o logaritmo 1 são negativos, entretanto, uma vez que
,
a fórmula pode ser expressada como
A expressão
também é chamada de incerteza ou surpresa, quanto mais baixa a probabilidade , ex.:
→ 0, maior a incerteza ou a surpresa, ex.:
→ ∞, para o resultado
.
A fórmula, neste caso, expressa a expectativa matemática de incerteza e é por isso que a entropia da informação e a incerteza da informação podem ser utilizadas intercambiavelmente.
Esta calculadora computa a entropia da informação para determinadas probabilidades de eventos
Entropia da informação
Esta calculadora computa a entropia da informação para frequências de símbolo de uma dada mensagem.
Comentários