Dispersão e desvio

The centre is one number; spread says how far the data live from it.

A carregar a simulação interativa...

Um ajuste custa um grau de liberdade

A média amostral é o único número capaz de tornar a soma dos desvios ao quadrado a menor possível. Portanto, uma amostra medida em torno da sua própria média resulta sempre num total inferior ao da mesma amostra medida em torno da média populacional invisível, e a divisão por n herda essa subestimativa. No experimento acima, amostras de cinco elementos deixam o divisor n cerca de um quinto mais baixo, e o resultado sai inferior a cada nova amostragem em vez de apenas na média. Dividir por n − 1 é o fator que compensa essa diferença.

Desvio padrão não é distância média

Elevar os desvios ao quadrado, calcular a média e depois extrair a raiz não é o mesmo que fazer a média das distâncias, pois a elevação ao quadrado faz com que um valor ao dobro da distância da média conte quatro vezes mais. A diferença flui sempre no mesmo sentido. O desvio padrão nunca é menor do que o desvio absoluto médio para uma lista de números qualquer, e os dois só são iguais quando todos os valores estão perfeitamente à mesma distância da média. As notas da turma indicam 2,55 e 2,00; a predefinição com um valor atípico, que carrega o divisor amostral, marca 5,15 e 3,13.

O IQR ignora de propósito os extremos

A amplitude interquartil descarta o quarto inferior e o quarto superior dos dados antes de medir qualquer coisa, o que é exatamente o que a mantém inalterável perante um valor extremo. Contudo, isso também a torna insensível. O agrupamento concentrado e a predefinição de um valor atípico nesta página reportam ambos uma AIQ de 2,00, enquanto os seus desvios padrão são 1,22 e 5,15. Isoladamente, uma AIQ nada diz sobre o verdadeiro alcance dos dados.

Problema resolvido na íntegra

  1. O valor atípico evidente que uma regra de três sigmas não consegue assinalar 9 passos

    A predefinição one outlier contém sete valores entre 4 e 7 e um em 20. Calcule a pontuação z desse último a partir do desvio padrão amostral e decida depois se uma regra que assinala tudo o que passe de três desvios padrão alguma vez o teria apanhado.

    Abrir este problema na ferramenta

    1. Some os oito valores e reparta-os: 60 por 8 dá 7,50. Sete dos oito ficam abaixo desse valor, pelo que o único valor elevado já está a deslocar o centro antes sequer de tocar na dispersão.

      xˉ=4+5+5+6+6+7+7+208=608=7.50\bar{x} = \frac{4+5+5+6+6+7+7+20}{8} = \frac{60}{8} = 7.50
    2. Subtraia 7,50 a cada um. Os sete valores agrupados ficam a distâncias entre 0,5 e 3,5; o oitavo fica a 12,5. O painel apresenta essa coluna, e ela soma zero, como acontece com qualquer coluna de desvios.

      xi−xˉ:  −3.5, −2.5, −2.5, −1.5, −1.5, −0.5, −0.5, 12.5x_i - \bar{x}: \; -3.5,\, -2.5,\, -2.5,\, -1.5,\, -1.5,\, -0.5,\, -0.5,\, 12.5
    3. Ao elevar ao quadrado, o total desequilibra-se. Os sete juntos contribuem com 29,75, e o valor em 20 contribui sozinho com 156,25, mais de cinco vezes todo o resto da amostra. É o quadrado a fazer aquilo para que ali está.

      ∑(xi−xˉ)2=29.75⏟i≤7+156.25⏟i=8=186.00\sum (x_i - \bar{x})^2 = \underbrace{29.75}_{i \le 7} + \underbrace{156.25}_{i = 8} = 186.00
    4. Esta predefinição carrega o modo amostral, pelo que o divisor é 7 e não 8. O painel mostra a fração além do resultado: 186,00 sobre 7 dá uma variância de 26,57 e um desvio padrão de 5,15. Leve a divisão mais uma casa e s é 5,1547, que é o que o passo seguinte precisa.

      s2=186.008−1=26.57,s=26.57=5.1547s^2 = \frac{186.00}{8-1} = 26.57, \qquad s = \sqrt{26.57} = 5.1547
    5. Uma pontuação z conta desvios padrão a contar da média, portanto aqui é 12,5 sobre 5,1547, ou seja, 2,4249. O valor mais notório do conjunto não chega a três, e nem sequer anda perto.

      z8=20−7.505.1547=2.4249z_8 = \frac{20 - 7.50}{5.1547} = 2.4249
    6. Pergunte agora se isso é um facto sobre esta lista ou sobre oito números em geral. Uma coisa decide: os desvios somam zero, pelo que, sejam quais forem os outros sete, somam exatamente o simétrico do oitavo.

      dk=xk−xˉ,∑idi=0  ⟹  ∑i≠kdi=−dkd_k = x_k - \bar{x}, \quad \sum_i d_i = 0 \;\Longrightarrow\; \sum_{i \ne k} d_i = -d_k
    7. Números com soma fixa atingem a menor soma de quadrados possível quando são todos iguais. Logo, os sete desvios restantes não podem ser todos pequenos: o mais económico que conseguem fazer é repartir a carga por igual, e isso coloca um piso na soma dos quadrados.

      ∑i≠kdi2≥(∑i≠kdi)2n−1=dk2n−1∑idi2≥dk2+dk2n−1=nn−1 dk2\begin{aligned}\sum_{i \ne k} d_i^2 &\ge \frac{\left(\sum_{i \ne k} d_i\right)^2}{n-1} = \frac{d_k^2}{n-1} \\ \sum_i d_i^2 &\ge d_k^2 + \frac{d_k^2}{n-1} = \frac{n}{n-1}\,d_k^2\end{aligned}
    8. Um piso na soma dos quadrados é um piso em s, e um piso em s é um teto para z. Nenhum valor de uma lista de n pode ficar a mais de (n − 1)/√n desvios padrão amostrais da média. Com n = 8, esse teto é 2,4749. Suba o 20 para 100 e o painel dá um desvio de 82,50 contra um desvio padrão de 33,35, logo z é 2,474. Suba-o para um milhão e z chega a 2,4749 à quarta casa, e aí fica.

      s2=∑idi2n−1≥n dk2(n−1)2∣zk∣=∣dk∣s≤n−1n=78=2.4749\begin{aligned}s^2 &= \frac{\sum_i d_i^2}{n-1} \ge \frac{n\,d_k^2}{(n-1)^2} \\ |z_k| &= \frac{|d_k|}{s} \le \frac{n-1}{\sqrt{n}} = \frac{7}{\sqrt{8}} = 2.4749\end{aligned}
    9. O teto depende de n e de mais nada, e ultrapassa 3 pela primeira vez com onze valores: dez chegam a 2,846, onze chegam a 3,015. Aqui a lista aceita doze, pelo que o caso extremo está ao alcance. Escreva dez zeros e um 1000, ainda em modo amostral. O painel dá uma média de 90,91 e um desvio padrão de 301,51, e o maior desvio, 909,09, dividido por 301,51 dá 3,015, que é o próprio teto.

      n−1n≥3  ⟺  n≥11;n=10:2.846,n=11:3.015\frac{n-1}{\sqrt{n}} \ge 3 \iff n \ge 11; \qquad n = 10: 2.846, \quad n = 11: 3.015

    Resposta

    z = 2,42, e nenhuma regra de três sigmas o poderia ter assinalado, porque oito números não conseguem produzir um z de 3 por mais extremo que um deles seja.

    Mais do que errada, a regra é aqui inutilizável, e é isso que vale a pena levar daqui: um limiar escrito em desvios padrão fala do tamanho da amostra tanto quanto do valor, porque o valor em exame está dentro do desvio padrão com que é medido. Três desvios padrão precisam de pelo menos 11 observações para sequer serem alcançáveis, quatro precisam de 18, e abaixo desses tamanhos uma amostra contaminada parece ao teste exatamente igual a uma amostra limpa. Algo que funciona mesmo com oito números já está nesta página. A barreira de Tukey coloca a fronteira em Q3 + 1,5 × IQR; o painel dá Q3 = 7,00 e IQR = 2,00, pelo que a barreira fica em 10 e o valor 20 sai dela com folga. Os quartis são posições na lista ordenada e não médias dela, e é por isso que o ponto que está a ser julgado não pode deslocar a régua.

    ∣zk∣≤n−1n,z8=2.4249<2.4749|z_k| \le \frac{n-1}{\sqrt{n}}, \qquad z_8 = 2.4249 < 2.4749

Percurso de aprendizagem

Um número para muitos: estatísticas de resumo