Entropia da informação

Esta calculadora online computa a entropia da informação para uma determinada tabela de probabilidade de evento ou determinada mensagem.

Esta página existe graças aos esforços das seguintes pessoas:

Timur

Timur

Clecius Brandao

Criado: 2020-06-15 01:43:06, Ultima atualização: 2020-11-03 14:19:39
Creative Commons Attribution/Share-Alike License 3.0 (Unported)

Este conteúdo é licenciado de acordo com a Licença Creative Commons de Atribuição/CompartilhaIgual 3.0 (Unported). Isso significa que você pode redistribuir ou modificar livremente este conteúdo sob as mesmas condições de licença e precisa atribuir ao autor original colocando um hyperlink para este trabalho no seu site. Além disto, favor não modificar qualquer referência ao trabalho original (caso houver) que estiverem contidas neste conteúdo.

Em teoria da informação, a entropia é uma medida da incerteza em uma variável aleatória. Neste contexto, o termo geralmente se refere à Entropia da informação, que quantifica o valor esperado da informação contida em uma mensagem.
A fórmula da entropia foi introduzida por Claude E. Shannon em seu artigo "Uma teoria matemática de comunicação" em 1948.

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

O sinal de menos é utilizado porque os valores menores que o logaritmo 1 são negativos, entretanto, uma vez que

-\log a = \log \frac{1}{a},

a fórmula pode ser expressada como

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

A expressão
\log_b \frac{1}{p(x_i)}
também é chamada de incerteza ou surpresa, quanto mais baixa a probabilidade p(x_i), ex.: p(x_i) → 0, maior a incerteza ou a surpresa, ex.: u_i → ∞, para o resultado x_i.

A fórmula, neste caso, expressa a expectativa matemática de incerteza e é por isso que a entropia da informação e a incerteza da informação podem ser utilizadas intercambiavelmente.

Esta calculadora computa a entropia da informação para determinadas probabilidades de eventos

PLANETCALC, Entropia da informação

Entropia da informação

Dígitos após o ponto decimal: 2
Entropia, bits
 

Esta calculadora computa a entropia da informação para frequências de símbolo de uma dada mensagem.

PLANETCALC, Entropia da informação

Entropia da informação

Dígitos após o ponto decimal: 2
Entropia, bits
 

URL copiado para a área de transferência
PLANETCALC, Entropia da informação

Comentários