Entropia condicional

A entropia condicional H(Y|X) é a quantidade de informação necessária para descrever o resultado de uma variável aleatória Y visto que o valor de outra variável aleatória X é conhecido.

Para calcularmos a entropia condicional, nós precisamos saber a distribuição conjunta de X e Y. A seguir, você deve inserir a matriz onde o valor da célula para qualquer linha i e coluna j representa a probabilidade do resultado , . As linhas representam os valores da variável aleatória X e as colunas - os valores da variável aleatória Y .

Observe que você pode clicar em "Mostrar detalhes" para visualizar os detalhes do cálculo. A fórmula usada no cálculo é explicada abaixo da calculadora.

Entropia condicional

0.1 0 0 0.2 0.3 0.2 0 0 0.2

Distribuição conjunta (X,Y) ~ p

Mostrar detalhes

Precisão de cálculo

Dígitos após o ponto decimal: 2

Calcular

H(Y|X)

 

H(X|Y)

 

O arquivo é muito grande; pode ocorrer lentidão do navegador durante o carregamento e a criação.

Download 

 Link  Salvar  Widget

Fórmula de entropia condicional

A entropia condicional de Y dada X é definida como

É assumido que as expressões and devem ser tratadas como sendo iguais a zero.

para cada linha é calculado através da soma dos valores da linha (ou seja, somando células para cada valor da variável aleatória X), e já são fornecidos pela matriz de entrada.

Qual é o significado desta fórmula?

Na verdade, é a média ponderada de entropias condicionais específicas sobre todos os valores possíveis de X.

A Entropia Condicional Específica de Y para X tomando o valor v é a entropia de Y entre apenas aqueles resultados em que X possui o valor v. Isso é,

Assim, a entropia condicional como a soma ponderada de entropias condicionais específicas para cada valor possível de X, usando p(x) como os pesos, é