Entropia condicional
Esta calculadora online calcula a entropia da variável aleatória Y condicionada na variável aleatória X e a variável aleatória X condicionada na variável aleatória Y, quando fornecida uma tabela de distribuição conjunta (X, Y) ~ p
A entropia condicional H(Y|X) é a quantidade de informação necessária para descrever o resultado de uma variável aleatória Y visto que o valor de outra variável aleatória X é conhecido.
Para calcularmos a entropia condicional, nós precisamos saber a distribuição conjunta de X e Y. A seguir, você deve inserir a matriz onde o valor da célula para qualquer linha i e coluna j representa a probabilidade do resultado ,
. As linhas representam os valores da variável aleatória X
e as colunas - os valores da variável aleatória Y
.
Observe que você pode clicar em "Mostrar detalhes" para visualizar os detalhes do cálculo. A fórmula usada no cálculo é explicada abaixo da calculadora.
Fórmula de entropia condicional
A entropia condicional de Y dada X é definida como
É assumido que as expressões and
devem ser tratadas como sendo iguais a zero.
para cada linha é calculado através da soma dos valores da linha (ou seja, somando células para cada valor da variável aleatória X), e
já são fornecidos pela matriz de entrada.
Qual é o significado desta fórmula?
Na verdade, é a média ponderada de entropias condicionais específicas sobre todos os valores possíveis de X.
A Entropia Condicional Específica de Y para X tomando o valor v é a entropia de Y entre apenas aqueles resultados em que X possui o valor v. Isso é,
Assim, a entropia condicional como a soma ponderada de entropias condicionais específicas para cada valor possível de X, usando p(x) como os pesos, é
Comentários