Entropia condicional

Esta calculadora online calcula a entropia da variável aleatória Y condicionada na variável aleatória X e a variável aleatória X condicionada na variável aleatória Y, quando fornecida uma tabela de distribuição conjunta (X, Y) ~ p

A entropia condicional H(Y|X) é a quantidade de informação necessária para descrever o resultado de uma variável aleatória Y visto que o valor de outra variável aleatória X é conhecido.

Para calcularmos a entropia condicional, nós precisamos saber a distribuição conjunta de X e Y. A seguir, você deve inserir a matriz onde o valor da célula para qualquer linha i e coluna j representa a probabilidade do resultado {x_i, y_j}, p_{(x_i, y_j)}. As linhas representam os valores da variável aleatória X {x_1, x_2, ... x_n e as colunas - os valores da variável aleatória Y {y_1, y_2, ... y_m}.

Observe que você pode clicar em "Mostrar detalhes" para visualizar os detalhes do cálculo. A fórmula usada no cálculo é explicada abaixo da calculadora.

PLANETCALC, Entropia condicional

Entropia condicional

Dígitos após o ponto decimal: 2
H(Y|X)
 
H(X|Y)
 
O arquivo é muito grande; pode ocorrer lentidão do navegador durante o carregamento e a criação.

Fórmula de entropia condicional

A entropia condicional de Y dada X é definida como

\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

É assumido que as expressões 0\log 0 and 0\log \frac{c}{0} devem ser tratadas como sendo iguais a zero.

p(x) para cada linha é calculado através da soma dos valores da linha (ou seja, somando células para cada valor da variável aleatória X), e p(x,y) já são fornecidos pela matriz de entrada.

Qual é o significado desta fórmula?

Na verdade, é a média ponderada de entropias condicionais específicas sobre todos os valores possíveis de X.

A Entropia Condicional Específica de Y para X tomando o valor v é a entropia de Y entre apenas aqueles resultados em que X possui o valor v. Isso é,

\mathrm {H} (Y|X=v)=-\sum _{y\in {\mathcal {Y}}}{P(Y=y|X=v)\log _{2}{P(Y=y|X=v)}}

Assim, a entropia condicional como a soma ponderada de entropias condicionais específicas para cada valor possível de X, usando p(x) como os pesos, é

\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)}&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)
=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

URL copiado para a área de transferência
PLANETCALC, Entropia condicional

Comentários