Teste de normalidade
Verifica se uma amostra é compatível com uma distribuição normal usando os testes de Shapiro–Wilk, Kolmogorov–Smirnov (incluindo a correção de Lilliefors) e Anderson–Darling, e também gera um histograma e um gráfico Q–Q.
Esta calculadora on-line verifica se uma amostra é compatível com uma distribuição normal. Ela calcula os testes de Shapiro–Wilk, Kolmogorov–Smirnov (incluindo a correção de Lilliefors) e Anderson–Darling, e também produz um histograma com uma curva normal e um gráfico Q–Q normal.
As fórmulas e um pouco de teoria estão disponíveis abaixo da calculadora.
O que é testado exatamente
A distribuição normal (lei normal, distribuição gaussiana) é uma distribuição contínua com a densidade
em que é a média,
é o desvio padrão e
. Seu gráfico é uma curva de sino simétrica centrada em
. Uma calculadora separada para a densidade e a função de distribuição normal está disponível aqui: Distribuição normal.
Suponha que pesamos vinte vezes o mesmo peso de calibração. As leituras da balança variam ligeiramente: 999,8 g, 1000,1 g, 1000,0 g e assim por diante. Podemos supor que o erro aleatório da balança siga uma distribuição normal. Mas vinte números não revelam a distribuição em si, apenas permitem verificar até que ponto as observações a contradizem.
Por isso, formulamos a hipótese nula : a amostra provém de uma distribuição normal. A hipótese alternativa
afirma o contrário. Para o teste clássico de Kolmogorov–Smirnov com parâmetros especificados, a hipótese é mais restrita: testa-se a distribuição específica
, e não qualquer distribuição normal.
Cada teste produz uma estatística e um valor p. Em outras palavras, o valor p é a probabilidade, supondo que seja verdadeira, de obter um afastamento da normalidade tão forte ou mais forte que o observado em nossa amostra. Não é a probabilidade de a hipótese de normalidade ser verdadeira.
Mas como obter uma probabilidade a partir de um único número, a estatística do teste? Precisamos conhecer a distribuição nula da estatística, isto é, a distribuição dos valores que ela teria se fosse verdadeira. Imagine que retiramos repetidamente novas amostras do mesmo tamanho
de uma distribuição normal e recalculamos a estatística a cada vez. Em seguida, determinamos a proporção de valores que contradizem a normalidade pelo menos tão fortemente quanto o valor de nossa amostra. Essa proporção é o valor p.
A direção da desigualdade depende do teste: valores pequenos de são suspeitos em Shapiro–Wilk, enquanto valores grandes de
e
são suspeitos em Kolmogorov–Smirnov e Anderson–Darling. Portanto, não podemos simplesmente tomar a área à direita de cada estatística sob uma curva normal comum. Cada estatística tem sua própria distribuição nula, que depende de
; no caso de Kolmogorov–Smirnov, também depende de os parâmetros terem sido estimados a partir da amostra. Na prática, a calculadora não simula milhares de amostras: usa fórmulas exatas quando disponíveis e aproximações publicadas das distribuições nulas quando o cálculo exato é muito difícil. O método usado para obter o valor p é descrito abaixo para cada teste.
Em seguida, o valor p é comparado ao nível de significância escolhido:
- Se
, a hipótese de normalidade é rejeitada. Nas condições escolhidas, a discrepância é grande demais para ser considerada uma flutuação aleatória plausível.
- Se
, a hipótese de normalidade não é rejeitada. Mas também não fica provada: pode existir um afastamento, e a amostra pode simplesmente ser pequena demais para detectá-lo.
O que isso significa na prática? Se e
, a normalidade é rejeitada. Se
, isso não significa uma probabilidade de 91 % de normalidade. Significa apenas que discrepâncias como essa, ou mais acentuadas, ocorrem com bastante frequência quando a hipótese nula é verdadeira.
Média amostral e dois desvios padrão
Para uma amostra , a calculadora calcula a média amostral
e o desvio padrão amostral corrigido
em que é o tamanho da amostra. O divisor
é usado nos testes de Lilliefors e Anderson–Darling.
Para traçar a curva normal sobre o histograma, a calculadora usa a estimativa de máxima verossimilhança de :
Assim, e
diferem em seus divisores:
e
. A calculadora mostra os dois valores. Para
grande, a diferença quase desaparece, mas para amostras pequenas é melhor não varrê-la para debaixo do tapete.
Teste de Shapiro–Wilk
O teste de Shapiro–Wilk foi desenvolvido especificamente para testar a normalidade. Primeiro, os valores da amostra são ordenados: . Em seguida, calcula-se a seguinte estatística1
em que são os valores ordenados da amostra,
é a média amostral e
são coeficientes que dependem do tamanho da amostra e são derivados das propriedades das estatísticas de ordem de uma distribuição normal.
O numerador compara a amostra ordenada com o padrão esperado para dados normais, enquanto o denominador mede sua dispersão total. Os valores de ficam entre zero e um; valores pequenos de
indicam um afastamento da normalidade. No entanto, a decisão não se baseia em um limite arbitrário como «
significa normal», mas no valor p.
Como os afastamentos da normalidade correspondem a valores pequenos de , o valor p aqui é a cauda esquerda da distribuição nula:
em que é o valor calculado para nossa amostra. Por exemplo,
significa que, se
for verdadeira, apenas 1 % das amostras do mesmo tamanho produzirá um valor de
tão pequeno ou menor.
A calculadora aplica esse teste quando . A distribuição nula exata de
é muito complexa, por isso usa-se a aproximação de Royston:
é transformado usando um logaritmo e coeficientes dependentes de
em uma escala normal, que é usada para calcular a probabilidade da cauda esquerda.2 Para
, a linha do teste mostra um traço, enquanto as demais verificações continuam funcionando.
Teste de Kolmogorov–Smirnov e correção de Lilliefors
A função de distribuição empírica é a proporção de observações que não excedem :
em que é igual a um se a condição for verdadeira e a zero caso contrário, e
é o tamanho da amostra.
O teste de Kolmogorov–Smirnov (KS) compara a função empírica com a função de distribuição normal teórica
:
Aqui, é a maior distância vertical entre as duas funções de distribuição, e
significa que o máximo é tomado sobre todos os valores possíveis de
. Quanto maior
, maior a discrepância.
E aqui há uma nuance importante. De onde vêm a média e o desvio padrão usados em ?
- Os parâmetros são conhecidos antecipadamente. Usam-se os valores especificados
e
, obtendo o teste clássico de Kolmogorov–Smirnov. Por exemplo, a especificação técnica de um instrumento pode exigir um erro com média 0 e desvio padrão 0,1 g. Testamos esse modelo específico, em vez de ajustá-lo a novas medições. Para
, a calculadora usa um valor p exato; para amostras maiores, aproximações numéricas.
- Os parâmetros são estimados a partir da mesma amostra. Em vez de
e
, usamos
e
. Nesse caso, aplica-se o teste de Lilliefors. A estatística
tem a mesma aparência, mas sua distribuição sob a hipótese nula é diferente, e o valor p também.3 O valor p comum de Kolmogorov–Smirnov não deve ser usado após o ajuste dos parâmetros; esse cálculo seria tolerante demais com os dados.
Nas duas versões, valores grandes de são suspeitos, portanto usa-se a cauda direita da distribuição nula:
em que é a discrepância máxima observada entre as funções de distribuição. Mas as distribuições nulas são diferentes. No teste clássico, os parâmetros
e
são fixos. No teste de Lilliefors, os parâmetros são estimados novamente para cada amostra normal hipotética, e a distância
costuma ser menor, porque a curva é ajustada especificamente a essa amostra. O mesmo valor numérico de
pode, portanto, produzir valores p diferentes nos dois modos.
Em outras palavras, a correção de Lilliefors não ajusta o próprio número , mas corrige a maneira de obter uma decisão a partir desse número. Na calculadora, o teste de Lilliefors é calculado para
, e sua cauda direita e seu valor p são encontrados por aproximações analíticas.
Teste de Anderson–Darling
O teste de Anderson–Darling também compara uma amostra com uma distribuição teórica, mas dá mais peso às suas caudas. Para uma distribuição normal com média e desvio padrão estimados a partir da amostra, a estatística é
em que são os valores ordenados da amostra,
é a função de distribuição normal com parâmetros
e
, e
é o tamanho da amostra.
Antes de calcular o valor p, a estatística é corrigida de acordo com o tamanho da amostra:
A calculadora mostra o original na tabela, mas obtém o valor p a partir da estatística corrigida. Valores grandes de
falam contra a normalidade, portanto novamente é necessária a cauda direita:
A distribuição nula de não é normal. Para ela usa-se a aproximação por partes de Stephens: dependendo do intervalo que contém
, uma de cinco fórmulas aproxima a probabilidade necessária.4 O teste é calculado para
.
Histograma com curva normal
Um histograma mostra como as observações estão distribuídas entre intervalos. A calculadora o representa em unidades de densidade: a altura de cada barra é
em que é o número de observações no intervalo,
é o tamanho da amostra e
é a largura do intervalo. Portanto, a área de cada barra é igual à proporção de observações nesse intervalo, e a área total do histograma é igual a um. Isso permite sobrepor a densidade da distribuição normal
: ambas as grandezas usam a mesma escala.
Vejamos um exemplo. Se 4 de 20 medições caírem em um intervalo de 0,4 g de largura, a altura da barra será . Sua área será
, ou seja, o intervalo contém 20 % da amostra.
A largura dos intervalos é selecionada automaticamente pela regra de Freedman–Diaconis:
em que é o intervalo interquartil, e
e
são o primeiro e o terceiro quartis da amostra. Se essa largura não puder ser obtida, por exemplo quando o intervalo interquartil é zero, o número de intervalos é escolhido como
.5
No que prestar atenção? Em assimetria perceptível, vários picos separados, grandes lacunas e valores atípicos. Mas não exija um sino perfeito: uma amostra pequena de uma distribuição estritamente normal pode produzir um histograma bastante torto. O acaso também tem direito a algumas irregularidades.
Gráfico Q–Q normal
Um gráfico Q–Q (gráfico quantil-quantil) compara os quantis da amostra com os quantis de uma distribuição teórica. Para um gráfico Q–Q normal, a calculadora representa os pontos
em que é a função inversa da distribuição normal padrão e
é a amostra ordenada. As probabilidades
são chamadas posições de representação (plotting positions): indicam a qual quantil teórico a
-ésima menor observação deve ser associada.
Essa fórmula é a regra proposta pelo estatístico sueco Gunnar Blom.6 Por que os números estranhos 0,375 e 0,25? A escolha mais simples, , daria
para a última observação, e o quantil normal correspondente
seria infinito — um ponto assim não pode ser desenhado. As posições de Blom não chegam a zero nem a um, são simétricas em relação a
e aproximam bem as posições esperadas das estatísticas de ordem de uma amostra normal.
Por exemplo, com , obtemos
,
,
e
. Assim, o mínimo é associado aproximadamente ao quantil de 14,7 % e o máximo ao de 85,3 %, em vez de um ponto infinito no final da distribuição.
A reta de referência passa pelos primeiro e terceiro quartis correspondentes dos quantis teóricos e amostrais. Essa escolha é mais resistente a valores atípicos do que uma reta baseada apenas na média e no desvio padrão.
Como ler o gráfico:
- Pontos próximos da reta — não há contradições visuais sérias com a normalidade. Naturalmente, não se exige uma coincidência exata.
- Uma curvatura suave — a distribuição pode ser assimétrica.
- Um desvio em forma de S — as caudas da amostra diferem das caudas normais: são mais pesadas ou mais leves.
- Pontos individuais distantes do padrão geral — possíveis valores atípicos.
- Degraus — os dados contêm muitos valores repetidos ou a grandeza é discreta por natureza.
O gráfico Q–Q é especialmente útil quando um histograma depende da escolha dos intervalos. Ele não substitui os testes, mas ajuda a entender como exatamente os dados diferem de dados normais.
Exemplo de cálculo
Vamos manter os 20 valores padrão da calculadora — medições hipotéticas de uma grandeza próxima de 5. Escolhemos e o modo que estima os parâmetros a partir da amostra. Obtemos os seguintes resultados:
| Teste | Estatística | Valor p | Decisão |
|---|---|---|---|
| Shapiro–Wilk | 0.911875 | A normalidade não é rejeitada | |
| Lilliefors | 0.840087 | A normalidade não é rejeitada | |
| Anderson–Darling | 0.819790 | A normalidade não é rejeitada |
Todos os valores p estão bem acima de 0,05. Portanto, esses dados não fornecem motivos para rejeitar a normalidade. Isso não é o mesmo que afirmar que os números são necessariamente normais. Os valores padrão podem ser apagados; servem apenas como ilustração.
E se um teste rejeitar a normalidade e os outros dois não? Isso não é motivo para uma votação de dois contra um. Os testes diferem em sua sensibilidade à assimetria, às caudas e a outros afastamentos, além de terem restrições diferentes quanto ao tamanho da amostra. Observe o gráfico Q–Q, o histograma e a natureza dos dados. A linha de resumo da calculadora apenas informa se pelo menos um teste aplicável rejeita a normalidade; é um resumo dos resultados, não um quarto teste com seu próprio valor p.
Condições de aplicabilidade
- As observações devem ser independentes. Se cada medição depender da anterior, os valores p comuns podem ser enganosos. Para séries temporais, primeiro é necessário considerar sua estrutura.
- O tamanho da amostra é importante. Com
pequeno, um teste pode não perceber um afastamento real da normalidade. Com
muito grande, pode rejeitar a normalidade por causa de um afastamento praticamente insignificante para sua tarefa. Considere os valores p junto com os gráficos e o bom senso.
- Os testes têm limites numéricos. Nesta calculadora, Shapiro–Wilk se aplica para
, Lilliefors para
e Anderson–Darling para
. O teste clássico de Kolmogorov–Smirnov requer
e
especificados antecipadamente. Alguns valores p são calculados por aproximações, como indicado nas observações da tabela de resultados.
- Valores idênticos não são adequados. Se toda a amostra consistir em um único número repetido, o desvio padrão será zero e não existirá uma distribuição normal ajustada. A calculadora informa um erro nesse caso.
- Não remova valores atípicos apenas para obter um valor p atraente. Primeiro verifique se um valor atípico é um erro de medição ou de entrada. Se a observação for real, removê-la altera o problema original.
- Rejeitar a normalidade não é o fim da análise. Uma transformação dos dados, outro modelo de distribuição ou métodos não paramétricos podem ajudar. Para estimar uma média com uma amostra grande, o teorema central do limite frequentemente ajuda. Sua relação com os intervalos de confiança é explicada no artigo Construção de intervalos de confiança.
-
NIST/SEMATECH. e-Handbook of Statistical Methods. Seção «Anderson-Darling and Shapiro-Wilk tests». NIST ↩
-
Royston P. Remark AS R94: A Remark on Algorithm AS 181: The W-test for Normality. Applied Statistics, 1995, vol. 44, pp. 547–551. DOI ↩
-
Dallal G. E., Wilkinson L. An Analytic Approximation to the Distribution of Lilliefors’ Test Statistic for Normality. The American Statistician, 1986, vol. 40, pp. 294–296. DOI ↩
-
Stephens M. A. EDF Statistics for Goodness of Fit and Some Comparisons. Journal of the American Statistical Association, 1974, vol. 69, pp. 730–737. DOI ↩
-
Freedman D., Diaconis P. On the Histogram as a Density Estimator:
Theory. Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete, 1981, vol. 57, pp. 453–476. DOI ↩
-
Blom G. Statistical Estimates and Transformed Beta-Variables. New York: John Wiley & Sons, 1958. ↩
Comentários