menu

PLANETCALC Calculadoras online

languagesearchLogin
homechevron_rightProfissionalchevron_rightComputação

Entropia da informação

Esta calculadora online computa a entropia da informação para uma determinada tabela de probabilidade de evento ou determinada mensagem.

person_outlineTimurschedule2020-06-15 01:43:06

Em teoria da informação, a entropia é uma medida da incerteza em uma variável aleatória. Neste contexto, o termo geralmente se refere à Entropia da informação, que quantifica o valor esperado da informação contida em uma mensagem.
A fórmula da entropia foi introduzida por Claude E. Shannon em seu artigo "Uma teoria matemática de comunicação" em 1948.

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

O sinal de menos é utilizado porque os valores menores que o logaritmo 1 são negativos, entretanto, uma vez que

-\log a = \log \frac{1}{a},

a fórmula pode ser expressada como

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

A expressão
\log_b \frac{1}{p(x_i)}
também é chamada de incerteza ou surpresa, quanto mais baixa a probabilidade p(x_i), ex.: p(x_i) → 0, maior a incerteza ou a surpresa, ex.: u_i → ∞, para o resultado x_i.

A fórmula, neste caso, expressa a expectativa matemática de incerteza e é por isso que a entropia da informação e a incerteza da informação podem ser utilizadas intercambiavelmente.

Esta calculadora computa a entropia da informação para determinadas probabilidades de eventos

PLANETCALC, Entropia da informação

Entropia da informação

Dígitos após o ponto decimal: 2
Entropia, bits
 

Esta calculadora computa a entropia da informação para frequências de símbolo de uma dada mensagem.

PLANETCALC, Entropia da informação

Entropia da informação

Dígitos após o ponto decimal: 2
Entropia, bits
 

URL copiado para a área de transferência

Calculadoras similares

local_offer Computação entropia entropia da informação entropia de Shannon mensagem probabilidade Shannon símbolo teoria da informação texto
Creative Commons Attribution/Share-Alike License 3.0 (Unported) PLANETCALC, Entropia da informação

Comentários