Teste de normalidade

Verifica se uma amostra é compatível com uma distribuição normal usando os testes de Shapiro–Wilk, Kolmogorov–Smirnov (incluindo a correção de Lilliefors) e Anderson–Darling, e também gera um histograma e um gráfico Q–Q.

Esta calculadora on-line verifica se uma amostra é compatível com uma distribuição normal. Ela calcula os testes de Shapiro–Wilk, Kolmogorov–Smirnov (incluindo a correção de Lilliefors) e Anderson–Darling, e também produz um histograma com uma curva normal e um gráfico Q–Q normal.

As fórmulas e um pouco de teoria estão disponíveis abaixo da calculadora.

PLANETCALC, Teste de normalidade

Teste de normalidade

Números separados por vírgulas, ponto e vírgula, espaços ou quebras de linha. O separador decimal é o ponto.
Se o valor p for menor que α, a hipótese de normalidade é rejeitada.
Quando os parâmetros são estimados a partir da amostra, a correção de Lilliefors é usada.
Média a priori usada apenas para o teste clássico de Kolmogorov–Smirnov.
Desvio padrão, não variância; deve ser maior que zero.
Tamanho da amostra n
 
Média amostral x̄
 
Desvio padrão amostral s
 
Estimativa de σ por máxima verossimilhança
 
Dígitos após o ponto decimal: 6
Conclusão
 
O arquivo é muito grande; pode ocorrer lentidão do navegador durante o carregamento e a criação.
Histograma e densidade normal
O arquivo é muito grande; pode ocorrer lentidão do navegador durante o carregamento e a criação.
Gráfico Q–Q normal
O arquivo é muito grande; pode ocorrer lentidão do navegador durante o carregamento e a criação.

O que é testado exatamente

A distribuição normal (lei normal, distribuição gaussiana) é uma distribuição contínua com a densidade

f(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right),

em que \mu é a média, \sigma é o desvio padrão e \sigma>0. Seu gráfico é uma curva de sino simétrica centrada em \mu. Uma calculadora separada para a densidade e a função de distribuição normal está disponível aqui: Distribuição normal.

Suponha que pesamos vinte vezes o mesmo peso de calibração. As leituras da balança variam ligeiramente: 999,8 g, 1000,1 g, 1000,0 g e assim por diante. Podemos supor que o erro aleatório da balança siga uma distribuição normal. Mas vinte números não revelam a distribuição em si, apenas permitem verificar até que ponto as observações a contradizem.

Por isso, formulamos a hipótese nula H_0: a amostra provém de uma distribuição normal. A hipótese alternativa H_1 afirma o contrário. Para o teste clássico de Kolmogorov–Smirnov com parâmetros especificados, a hipótese é mais restrita: testa-se a distribuição específica N(\mu_0,\sigma_0^2), e não qualquer distribuição normal.

Cada teste produz uma estatística e um valor p. Em outras palavras, o valor p é a probabilidade, supondo que H_0 seja verdadeira, de obter um afastamento da normalidade tão forte ou mais forte que o observado em nossa amostra. Não é a probabilidade de a hipótese de normalidade ser verdadeira.

Mas como obter uma probabilidade a partir de um único número, a estatística do teste? Precisamos conhecer a distribuição nula da estatística, isto é, a distribuição dos valores que ela teria se H_0 fosse verdadeira. Imagine que retiramos repetidamente novas amostras do mesmo tamanho n de uma distribuição normal e recalculamos a estatística a cada vez. Em seguida, determinamos a proporção de valores que contradizem a normalidade pelo menos tão fortemente quanto o valor de nossa amostra. Essa proporção é o valor p.

A direção da desigualdade depende do teste: valores pequenos de W são suspeitos em Shapiro–Wilk, enquanto valores grandes de D e A^2 são suspeitos em Kolmogorov–Smirnov e Anderson–Darling. Portanto, não podemos simplesmente tomar a área à direita de cada estatística sob uma curva normal comum. Cada estatística tem sua própria distribuição nula, que depende de n; no caso de Kolmogorov–Smirnov, também depende de os parâmetros terem sido estimados a partir da amostra. Na prática, a calculadora não simula milhares de amostras: usa fórmulas exatas quando disponíveis e aproximações publicadas das distribuições nulas quando o cálculo exato é muito difícil. O método usado para obter o valor p é descrito abaixo para cada teste.

Em seguida, o valor p é comparado ao nível de significância \alpha escolhido:

  1. Se p<\alpha, a hipótese de normalidade é rejeitada. Nas condições escolhidas, a discrepância é grande demais para ser considerada uma flutuação aleatória plausível.
  2. Se p\geq\alpha, a hipótese de normalidade não é rejeitada. Mas também não fica provada: pode existir um afastamento, e a amostra pode simplesmente ser pequena demais para detectá-lo.

O que isso significa na prática? Se p=0{,}03 e \alpha=0{,}05, a normalidade é rejeitada. Se p=0{,}91, isso não significa uma probabilidade de 91 % de normalidade. Significa apenas que discrepâncias como essa, ou mais acentuadas, ocorrem com bastante frequência quando a hipótese nula é verdadeira.

Média amostral e dois desvios padrão

Para uma amostra x_1,\ldots,x_n, a calculadora calcula a média amostral

\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i

e o desvio padrão amostral corrigido

s=\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2},

em que n é o tamanho da amostra. O divisor n-1 é usado nos testes de Lilliefors e Anderson–Darling.

Para traçar a curva normal sobre o histograma, a calculadora usa a estimativa de máxima verossimilhança de \sigma:

\hat{\sigma}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2}.

Assim, s e \hat{\sigma} diferem em seus divisores: n-1 e n. A calculadora mostra os dois valores. Para n grande, a diferença quase desaparece, mas para amostras pequenas é melhor não varrê-la para debaixo do tapete.

Teste de Shapiro–Wilk

O teste de Shapiro–Wilk foi desenvolvido especificamente para testar a normalidade. Primeiro, os valores da amostra são ordenados: x_{(1)}\leq x_{(2)}\leq\ldots\leq x_{(n)}. Em seguida, calcula-se a seguinte estatística1

W=\frac{\left(\sum_{i=1}^{n}a_i x_{(i)}\right)^2}{\sum_{i=1}^{n}(x_i-\bar{x})^2},

em que x_{(i)} são os valores ordenados da amostra, \bar{x} é a média amostral e a_i são coeficientes que dependem do tamanho da amostra e são derivados das propriedades das estatísticas de ordem de uma distribuição normal.

O numerador compara a amostra ordenada com o padrão esperado para dados normais, enquanto o denominador mede sua dispersão total. Os valores de W ficam entre zero e um; valores pequenos de W indicam um afastamento da normalidade. No entanto, a decisão não se baseia em um limite arbitrário como «W>0{,}9 significa normal», mas no valor p.

Como os afastamentos da normalidade correspondem a valores pequenos de W, o valor p aqui é a cauda esquerda da distribuição nula:

p=P(W\leq W_{\mathrm{obs}}\mid H_0),

em que W_{\mathrm{obs}} é o valor calculado para nossa amostra. Por exemplo, p=0{,}01 significa que, se H_0 for verdadeira, apenas 1 % das amostras do mesmo tamanho produzirá um valor de W tão pequeno ou menor.

A calculadora aplica esse teste quando 3\leq n\leq5000. A distribuição nula exata de W é muito complexa, por isso usa-se a aproximação de Royston: 1-W é transformado usando um logaritmo e coeficientes dependentes de n em uma escala normal, que é usada para calcular a probabilidade da cauda esquerda.2 Para n>5000, a linha do teste mostra um traço, enquanto as demais verificações continuam funcionando.

Teste de Kolmogorov–Smirnov e correção de Lilliefors

A função de distribuição empírica é a proporção de observações que não excedem x:

F_n(x)=\frac{1}{n}\sum_{i=1}^{n}I(x_i\leq x),

em que I(x_i\leq x) é igual a um se a condição for verdadeira e a zero caso contrário, e n é o tamanho da amostra.

O teste de Kolmogorov–Smirnov (KS) compara a função empírica F_n(x) com a função de distribuição normal teórica F(x):

D=\sup_x\left|F_n(x)-F(x)\right|.

Aqui, D é a maior distância vertical entre as duas funções de distribuição, e \sup significa que o máximo é tomado sobre todos os valores possíveis de x. Quanto maior D, maior a discrepância.

E aqui há uma nuance importante. De onde vêm a média e o desvio padrão usados em F(x)?

  1. Os parâmetros são conhecidos antecipadamente. Usam-se os valores especificados \mu_0 e \sigma_0, obtendo o teste clássico de Kolmogorov–Smirnov. Por exemplo, a especificação técnica de um instrumento pode exigir um erro com média 0 e desvio padrão 0,1 g. Testamos esse modelo específico, em vez de ajustá-lo a novas medições. Para n\leq100, a calculadora usa um valor p exato; para amostras maiores, aproximações numéricas.
  2. Os parâmetros são estimados a partir da mesma amostra. Em vez de \mu_0 e \sigma_0, usamos \bar{x} e s. Nesse caso, aplica-se o teste de Lilliefors. A estatística D tem a mesma aparência, mas sua distribuição sob a hipótese nula é diferente, e o valor p também.3 O valor p comum de Kolmogorov–Smirnov não deve ser usado após o ajuste dos parâmetros; esse cálculo seria tolerante demais com os dados.

Nas duas versões, valores grandes de D são suspeitos, portanto usa-se a cauda direita da distribuição nula:

p=P(D\geq D_{\mathrm{obs}}\mid H_0),

em que D_{\mathrm{obs}} é a discrepância máxima observada entre as funções de distribuição. Mas as distribuições nulas são diferentes. No teste clássico, os parâmetros \mu_0 e \sigma_0 são fixos. No teste de Lilliefors, os parâmetros são estimados novamente para cada amostra normal hipotética, e a distância D costuma ser menor, porque a curva é ajustada especificamente a essa amostra. O mesmo valor numérico de D pode, portanto, produzir valores p diferentes nos dois modos.

Em outras palavras, a correção de Lilliefors não ajusta o próprio número D, mas corrige a maneira de obter uma decisão a partir desse número. Na calculadora, o teste de Lilliefors é calculado para n\geq5, e sua cauda direita e seu valor p são encontrados por aproximações analíticas.

Teste de Anderson–Darling

O teste de Anderson–Darling também compara uma amostra com uma distribuição teórica, mas dá mais peso às suas caudas. Para uma distribuição normal com média e desvio padrão estimados a partir da amostra, a estatística é

A^2=-n-\frac{1}{n}\sum_{i=1}^{n}(2i-1)\left[\ln F(x_{(i)})+\ln\left(1-F(x_{(n+1-i)})\right)\right],

em que x_{(i)} são os valores ordenados da amostra, F é a função de distribuição normal com parâmetros \bar{x} e s, e n é o tamanho da amostra.

Antes de calcular o valor p, a estatística é corrigida de acordo com o tamanho da amostra:

A^{2*}=A^2\left(1+\frac{0{,}75}{n}+\frac{2{,}25}{n^2}\right).

A calculadora mostra o A^2 original na tabela, mas obtém o valor p a partir da estatística corrigida. Valores grandes de A^{2*} falam contra a normalidade, portanto novamente é necessária a cauda direita:

p=P(A^{2*}\geq A^{2*}_{\mathrm{obs}}\mid H_0).

A distribuição nula de A^{2*} não é normal. Para ela usa-se a aproximação por partes de Stephens: dependendo do intervalo que contém A^{2*}_{\mathrm{obs}}, uma de cinco fórmulas aproxima a probabilidade necessária.4 O teste é calculado para n\geq8.

Histograma com curva normal

Um histograma mostra como as observações estão distribuídas entre intervalos. A calculadora o representa em unidades de densidade: a altura de cada barra é

\frac{k}{nh},

em que k é o número de observações no intervalo, n é o tamanho da amostra e h é a largura do intervalo. Portanto, a área de cada barra é igual à proporção de observações nesse intervalo, e a área total do histograma é igual a um. Isso permite sobrepor a densidade da distribuição normal N(\bar{x},\hat{\sigma}^2): ambas as grandezas usam a mesma escala.

Vejamos um exemplo. Se 4 de 20 medições caírem em um intervalo de 0,4 g de largura, a altura da barra será 4/(20\cdot0{,}4)=0{,}5. Sua área será 0{,}5\cdot0{,}4=0{,}2, ou seja, o intervalo contém 20 % da amostra.

A largura dos intervalos é selecionada automaticamente pela regra de Freedman–Diaconis:

h=\frac{2\,IQR}{n^{1/3}},\qquad IQR=Q_3-Q_1,

em que IQR é o intervalo interquartil, e Q_1 e Q_3 são o primeiro e o terceiro quartis da amostra. Se essa largura não puder ser obtida, por exemplo quando o intervalo interquartil é zero, o número de intervalos é escolhido como \lceil\sqrt{n}\rceil.5

No que prestar atenção? Em assimetria perceptível, vários picos separados, grandes lacunas e valores atípicos. Mas não exija um sino perfeito: uma amostra pequena de uma distribuição estritamente normal pode produzir um histograma bastante torto. O acaso também tem direito a algumas irregularidades.

Gráfico Q–Q normal

Um gráfico Q–Q (gráfico quantil-quantil) compara os quantis da amostra com os quantis de uma distribuição teórica. Para um gráfico Q–Q normal, a calculadora representa os pontos

\left(\Phi^{-1}(p_i),\;x_{(i)}\right),\qquad p_i=\frac{i-0{,}375}{n+0{,}25},\qquad i=1,\ldots,n,

em que \Phi^{-1} é a função inversa da distribuição normal padrão e x_{(i)} é a amostra ordenada. As probabilidades p_i são chamadas posições de representação (plotting positions): indicam a qual quantil teórico a i-ésima menor observação deve ser associada.

Essa fórmula é a regra proposta pelo estatístico sueco Gunnar Blom.6 Por que os números estranhos 0,375 e 0,25? A escolha mais simples, p_i=i/n, daria p_n=1 para a última observação, e o quantil normal correspondente \Phi^{-1}(1) seria infinito — um ponto assim não pode ser desenhado. As posições de Blom não chegam a zero nem a um, são simétricas em relação a 1/2 e aproximam bem as posições esperadas das estatísticas de ordem de uma amostra normal.

Por exemplo, com n=4, obtemos p_1\approx0{,}147, p_2\approx0{,}382, p_3\approx0{,}618 e p_4\approx0{,}853. Assim, o mínimo é associado aproximadamente ao quantil de 14,7 % e o máximo ao de 85,3 %, em vez de um ponto infinito no final da distribuição.

A reta de referência passa pelos primeiro e terceiro quartis correspondentes dos quantis teóricos e amostrais. Essa escolha é mais resistente a valores atípicos do que uma reta baseada apenas na média e no desvio padrão.

Como ler o gráfico:

  1. Pontos próximos da reta — não há contradições visuais sérias com a normalidade. Naturalmente, não se exige uma coincidência exata.
  2. Uma curvatura suave — a distribuição pode ser assimétrica.
  3. Um desvio em forma de S — as caudas da amostra diferem das caudas normais: são mais pesadas ou mais leves.
  4. Pontos individuais distantes do padrão geral — possíveis valores atípicos.
  5. Degraus — os dados contêm muitos valores repetidos ou a grandeza é discreta por natureza.

O gráfico Q–Q é especialmente útil quando um histograma depende da escolha dos intervalos. Ele não substitui os testes, mas ajuda a entender como exatamente os dados diferem de dados normais.

Exemplo de cálculo

Vamos manter os 20 valores padrão da calculadora — medições hipotéticas de uma grandeza próxima de 5. Escolhemos \alpha=0{,}05 e o modo que estima os parâmetros a partir da amostra. Obtemos os seguintes resultados:

Teste Estatística Valor p Decisão
Shapiro–Wilk W=0{,}978405 0.911875 A normalidade não é rejeitada
Lilliefors D=0{,}102608 0.840087 A normalidade não é rejeitada
Anderson–Darling A^2=0{,}216283 0.819790 A normalidade não é rejeitada

Todos os valores p estão bem acima de 0,05. Portanto, esses dados não fornecem motivos para rejeitar a normalidade. Isso não é o mesmo que afirmar que os números são necessariamente normais. Os valores padrão podem ser apagados; servem apenas como ilustração.

E se um teste rejeitar a normalidade e os outros dois não? Isso não é motivo para uma votação de dois contra um. Os testes diferem em sua sensibilidade à assimetria, às caudas e a outros afastamentos, além de terem restrições diferentes quanto ao tamanho da amostra. Observe o gráfico Q–Q, o histograma e a natureza dos dados. A linha de resumo da calculadora apenas informa se pelo menos um teste aplicável rejeita a normalidade; é um resumo dos resultados, não um quarto teste com seu próprio valor p.

Condições de aplicabilidade

  1. As observações devem ser independentes. Se cada medição depender da anterior, os valores p comuns podem ser enganosos. Para séries temporais, primeiro é necessário considerar sua estrutura.
  2. O tamanho da amostra é importante. Com n pequeno, um teste pode não perceber um afastamento real da normalidade. Com n muito grande, pode rejeitar a normalidade por causa de um afastamento praticamente insignificante para sua tarefa. Considere os valores p junto com os gráficos e o bom senso.
  3. Os testes têm limites numéricos. Nesta calculadora, Shapiro–Wilk se aplica para 3\leq n\leq5000, Lilliefors para n\geq5 e Anderson–Darling para n\geq8. O teste clássico de Kolmogorov–Smirnov requer \mu_0 e \sigma_0>0 especificados antecipadamente. Alguns valores p são calculados por aproximações, como indicado nas observações da tabela de resultados.
  4. Valores idênticos não são adequados. Se toda a amostra consistir em um único número repetido, o desvio padrão será zero e não existirá uma distribuição normal ajustada. A calculadora informa um erro nesse caso.
  5. Não remova valores atípicos apenas para obter um valor p atraente. Primeiro verifique se um valor atípico é um erro de medição ou de entrada. Se a observação for real, removê-la altera o problema original.
  6. Rejeitar a normalidade não é o fim da análise. Uma transformação dos dados, outro modelo de distribuição ou métodos não paramétricos podem ajudar. Para estimar uma média com uma amostra grande, o teorema central do limite frequentemente ajuda. Sua relação com os intervalos de confiança é explicada no artigo Construção de intervalos de confiança.

  1. NIST/SEMATECH. e-Handbook of Statistical Methods. Seção «Anderson-Darling and Shapiro-Wilk tests». NIST ↩

  2. Royston P. Remark AS R94: A Remark on Algorithm AS 181: The W-test for Normality. Applied Statistics, 1995, vol. 44, pp. 547–551. DOI ↩

  3. Dallal G. E., Wilkinson L. An Analytic Approximation to the Distribution of Lilliefors’ Test Statistic for Normality. The American Statistician, 1986, vol. 40, pp. 294–296. DOI ↩

  4. Stephens M. A. EDF Statistics for Goodness of Fit and Some Comparisons. Journal of the American Statistical Association, 1974, vol. 69, pp. 730–737. DOI ↩

  5. Freedman D., Diaconis P. On the Histogram as a Density Estimator: L^2 Theory. Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete, 1981, vol. 57, pp. 453–476. DOI ↩

  6. Blom G. Statistical Estimates and Transformed Beta-Variables. New York: John Wiley & Sons, 1958. ↩

URL copiado para a área de transferência
PLANETCALC, Teste de normalidade

Comentários