Entropia condicional

Esta calculadora online calcula a entropia da variável aleatória Y condicionada na variável aleatória X e a variável aleatória X condicionada na variável aleatória Y, quando fornecida uma tabela de distribuição conjunta (X, Y) ~ p

Esta página existe graças aos esforços das seguintes pessoas:

Timur

Timur

Julia Gomes

Criado: 2021-05-16 17:19:04, Ultima atualização: 2021-05-16 17:19:04
Creative Commons Attribution/Share-Alike License 3.0 (Unported)

Este conteúdo é licenciado de acordo com a Licença Creative Commons de Atribuição/CompartilhaIgual 3.0 (Unported). Isso significa que você pode redistribuir ou modificar livremente este conteúdo sob as mesmas condições de licença e precisa atribuir ao autor original colocando um hyperlink para este trabalho no seu site. Além disto, favor não modificar qualquer referência ao trabalho original (caso houver) que estiverem contidas neste conteúdo.

A entropia condicional H(Y|X) é a quantidade de informação necessária para descrever o resultado de uma variável aleatória Y visto que o valor de outra variável aleatória X é conhecido.

Para calcularmos a entropia condicional, nós precisamos saber a distribuição conjunta de X e Y. A seguir, você deve inserir a matriz onde o valor da célula para qualquer linha i e coluna j representa a probabilidade do resultado {x_i, y_j}, p_{(x_i, y_j)}. As linhas representam os valores da variável aleatória X {x_1, x_2, ... x_n e as colunas - os valores da variável aleatória Y {y_1, y_2, ... y_m}.

Observe que você pode clicar em "Mostrar detalhes" para visualizar os detalhes do cálculo. A fórmula usada no cálculo é explicada abaixo da calculadora.

PLANETCALC, Entropia condicional

Entropia condicional

Dígitos após o ponto decimal: 2
H(Y|X)
 
H(X|Y)
 
O arquivo é muito grande; pode ocorrer lentidão do navegador durante o carregamento e a criação.

Fórmula de entropia condicional

A entropia condicional de Y dada X é definida como

\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

É assumido que as expressões 0\log 0 and 0\log \frac{c}{0} devem ser tratadas como sendo iguais a zero.

p(x) para cada linha é calculado através da soma dos valores da linha (ou seja, somando células para cada valor da variável aleatória X), e p(x,y) já são fornecidos pela matriz de entrada.

Qual é o significado desta fórmula?

Na verdade, é a média ponderada de entropias condicionais específicas sobre todos os valores possíveis de X.

A Entropia Condicional Específica de Y para X tomando o valor v é a entropia de Y entre apenas aqueles resultados em que X possui o valor v. Isso é,

\mathrm {H} (Y|X=v)=-\sum _{y\in {\mathcal {Y}}}{P(Y=y|X=v)\log _{2}{P(Y=y|X=v)}}

Assim, a entropia condicional como a soma ponderada de entropias condicionais específicas para cada valor possível de X, usando p(x) como os pesos, é

\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)}&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)
=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

URL copiado para a área de transferência
PLANETCALC, Entropia condicional

Comentários