Calculadora de outliers

cerca inferior = Q1 − 1,5 × IIQ · cerca superior = Q3 + 1,5 × IIQ

Q1

O primeiro quartil — o 25º percentil, o valor em que um quarto dos dados fica igual ou abaixo. É ele que ancora a cerca inferior

Q3

O terceiro quartil — o 75º percentil. Junto com o Q1 ele delimita a metade central dos dados, e é ele que ancora a cerca superior

IIQ

O intervalo interquartil, Q3 − Q1: a largura da metade central dos dados. Multiplicá-lo por 1,5 define o quanto um valor precisa ficar fora dessa metade central para ser marcado

cerca inferior

Q1 − 1,5 × IIQ. Um valor estritamente abaixo dessa linha é marcado; um valor exatamente sobre ela não é, e é por isso que uma lista de valores idênticos não marca nada

cerca superior

Q3 + 1,5 × IIQ. Um valor estritamente acima dessa linha é marcado. As duas cercas costumam ser escritas L1 e U1 na fonte de onde esta regra vem

n

Quantos valores entraram, até 200 aqui. As cercas são construídas a partir dos quartis, então uma lista mais longa desloca os quartis e pode mudar quais valores são marcados

Use quando você precisar saber se um valor é incomum em relação ao resto da amostra, antes de decidir o que fazer com ele: um retorno mensal dez vezes maior que os outros, uma leitura de sensor fora da escala das vizinhas, uma nota muito abaixo do resto da turma. A regra de 1,5 × IIQ, às vezes chamada de regra de Tukey por causa de quem a popularizou, é a primeira passada padrão porque não supõe nada sobre o formato dos dados — ao contrário de uma regra baseada na média e no desvio padrão, que é distorcida justamente pelos valores extremos que deveria encontrar. O que esta página não consegue fazer é dizer se um valor marcado é um erro ou um valor extremo de verdade. São coisas diferentes: um valor atípico pode indicar dados ruins, e pode igualmente ser a medição mais interessante do conjunto. O intervalo interquartil ignora as caudas de propósito, então ele não é arrastado pelos próprios valores que estão sendo testados.

1. Oito valores, um marcado

   1. Q1 = 4 e Q3 = 5,5, então IIQ = 5,5 − 4 = 1,5
   2. 1,5 × IIQ = 2,25, o que dá uma cerca inferior de 4 − 2,25 = 1,75 e uma cerca superior de 5,5 + 2,25 = 7,75
   3. O 9 está acima de 7,75, então é marcado; todos os outros valores ficam dentro das cercas

   As cercas extremas são −0,5 e 10, e o 9 fica dentro delas, então este é um valor marcado apenas pela regra interna — moderadamente incomum, não extremo. Informar as cercas extremas em separado é o que torna essa distinção visível, em vez de deixar a resposta como um sim ou não.

2. Dois marcados, um fora de cada par de cercas

   1. Q1 = 3,75 e Q3 = 9,25, então IIQ = 5,5 e 1,5 × IIQ = 8,25
   2. As cercas são 3,75 − 8,25 = −4,5 e 9,25 + 8,25 = 17,5; as cercas extremas são 3,75 − 16,5 = −12,75 e 9,25 + 16,5 = 25,75
   3. O 20 está acima de 17,5 mas dentro de 25,75; o 30 está acima de 25,75. Os dois contam como marcados, então o total é 2

   Os dois valores marcados não são igualmente extremos, e a contagem sozinha esconde isso. O 20 passou da cerca interna, o 30 passou da cerca extrema, e a lista impressa os mantém em ordem crescente para que você veja qual é qual. A cerca extrema não é um segundo limite que os valores precisam atingir para contar — um valor entre as duas cercas já está marcado.

3. Quando todos os valores são iguais menos um

   1. Q1 = 1 e Q3 = 1, então IIQ = 0 e 1,5 × IIQ = 0
   2. As duas cercas colapsam sobre o 1: a cerca inferior é 1 − 0 = 1 e a cerca superior é 1 + 0 = 1
   3. O 2 está estritamente acima de 1, então é marcado — apesar de o intervalo interquartil ser zero

   Um intervalo interquartil igual a zero parece que deveria desligar a regra, e não desliga. Quando quase todos os valores são idênticos, o que difere é, por definição, o único ponto que se afasta marcantemente, e a regra diz exatamente isso. Para obter o resultado oposto — nada marcado —, todos os valores precisam ser iguais, e nesse caso as cercas caem exatamente sobre esse valor e a comparação é estrita.

Esta página informa valores marcados por uma regra, e essa regra é uma convenção, não um veredito. O multiplicador 1,5 é uma escolha; a mesma fonte que o fornece também fornece 3,0 para uma segunda linha, mais extrema, e outros livros e programas oferecem testes diferentes, baseados em escores z ou no desvio absoluto mediano. É normal que duas ferramentas discordem sobre um valor limítrofe, e isso não significa que uma delas esteja errada. Um valor marcado também não é automaticamente um erro: uma regra assim não distingue um algarismo digitado errado de uma observação extrema legítima, e o segundo tipo costuma ser a medição mais valiosa de um conjunto de dados. Remover pontos apenas porque uma regra os marcou é como uma análise adquire conclusões que não ganhou. Os quartis aqui são calculados por interpolação linear entre os dois valores centrais, que é a convenção mais comum mas não a única — uma fonte que arredonda para o valor observado mais próximo pode colocar um quartil meia posição adiante e deslocar as cercas junto. A lista é limitada a 200 valores, e uma entrada como 1.500 é recusada em vez de adivinhada, porque um ponto entre dígitos seguido de exatamente três algarismos é separador de milhar em português e separador decimal em outras línguas.

Como encontrar valores atípicos em um conjunto de dados?

Ordene os valores e encontre o primeiro e o terceiro quartis, Q1 e Q3. O intervalo interquartil é Q3 − Q1. Qualquer valor abaixo de Q1 − 1,5 × IIQ, ou acima de Q3 + 1,5 × IIQ, é marcado. Para a lista 2, 4, 4, 4, 5, 5, 7, 9 os quartis são 4 e 5,5, então o intervalo interquartil é 1,5, as cercas são 1,75 e 7,75, e o 9 é marcado. A calculadora acima imprime os quartis e as quatro cercas para que cada passo possa ser conferido.

O que é uma cerca, e por que existem quatro?

As cercas são as linhas de corte com que a regra compara os valores — o termo é comum em programas, enquanto a fonte didática as escreve como L1, L2, U1 e U2. As duas cercas internas são Q1 − 1,5 × IIQ e Q3 + 1,5 × IIQ; as cercas extremas usam 3,0 no lugar de 1,5 e marcam os valores que ficam ainda mais longe. Só o par interno decide o que é marcado. O par externo é impresso porque um valor entre as duas linhas é moderadamente incomum e um valor além da linha extrema não é, e uma contagem única não consegue mostrar essa diferença.

Devo apagar um valor atípico depois que ele é marcado?

Não só porque foi marcado. A regra diz que um valor se afasta marcantemente dos outros; ela não consegue dizer por quê. A mesma referência observa que um valor atípico pode indicar dados ruins — um algarismo digitado errado, um sensor com defeito, uma unidade lançada na coluna errada —, e nesses casos o ponto deve ser corrigido ou removido. Ele pode igualmente ser uma medição real, e muitas vezes a mais informativa do conjunto. Antes de remover qualquer coisa, encontre o motivo: confira o registro original, o log do instrumento ou as condições que produziram aquele valor. Remover pontos porque uma regra os marcou é a maneira de uma base de dados ser podada até dizer o que alguém queria.

Por que outra ferramenta marca um valor diferente?

Porque o multiplicador 1,5 é uma convenção, não uma lei. A referência que dá 1,5 também dá 3,0 para a segunda linha, e existem regras completamente diferentes baseadas em escores z — uma compara a distância de cada valor até a média com o desvio padrão, outra usa o desvio absoluto mediano com um limite de 3,5. As convenções de quartil também diferem: esta página interpola entre os dois valores centrais, enquanto algumas fontes arredondam para o valor observado mais próximo, o que pode empurrar uma cerca logo além de um ponto limítrofe. Duas ferramentas discordarem sobre um valor que está perto de uma cerca é esperado, e é um motivo para olhar aquele valor, não um motivo para desconfiar de uma das ferramentas.

E se o intervalo interquartil for zero?

A regra continua valendo e continua marcando valores. Se Q1 e Q3 são ambos 1, o intervalo interquartil é 0, então 1,5 × IIQ também é 0, as duas cercas caem exatamente sobre o 1, e qualquer valor estritamente acima de 1 é marcado — na lista 1, 1, 1, 1, 1, 2, o 2 é marcado. Isso parece errado à primeira vista, já que um intervalo interquartil zero dá a impressão de que os dados não têm dispersão nenhuma. Está certo: quando quase todos os valores são idênticos, o único valor que difere é precisamente o que se afasta marcantemente. A comparação é estrita, então uma lista de valores idênticos não marca nada — as cercas caem sobre esse valor e nada fica estritamente fora delas.

Isto é a mesma coisa que um teste de escore z?

Não, e a diferença importa. Um escore z divide a distância de cada valor até a média pelo desvio padrão — mas a média e o desvio padrão são calculados a partir da amostra inteira, incluindo o valor atípico, então um único valor extremo infla o desvio padrão e pode esconder a si mesmo. A regra baseada em quartis não tem esse retorno: os quartis são posicionais, e um valor que está muito longe não muda onde eles caem. A referência dá um limite para a abordagem por escore z exatamente por esse motivo, e também oferece uma variante construída sobre o desvio absoluto mediano, para que a medida de dispersão não seja arrastada pelo próprio ponto que está sendo testado.

• Box Plot — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.3.7 (the source of the rule: L1 = lower quartile − 1.5 × IQ and L2 = lower quartile − 3.0 × IQ, with the symmetric U1 and U2, and the two batches of points drawn as small and large circles) — National Institute of Standards and Technology
• Detection of Outliers — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.5.17 (defines an outlier as an observation that appears to deviate markedly from the others, notes that an outlier may indicate bad data, and lists several alternative rules, including modified Z-scores above 3.5) — National Institute of Standards and Technology