Calcolatrice dei valori anomali

limite inferiore = Q1 − 1,5 × IQR · limite superiore = Q3 + 1,5 × IQR

Q1

Il primo quartile, cioè il 25º percentile: il valore sotto il quale sta un quarto dei dati. Fa da ancora al limite inferiore

Q3

Il terzo quartile, cioè il 75º percentile. Insieme a Q1 delimita la metà centrale dei dati, e fa da ancora al limite superiore

IQR

Lo scarto interquartile, Q3 − Q1: la larghezza della metà centrale dei dati. Moltiplicarlo per 1,5 fissa quanto deve stare fuori da quella metà centrale un valore prima di essere segnalato

limite inferiore

Q1 − 1,5 × IQR. Un valore strettamente sotto questa linea è segnalato; un valore esattamente su di essa no, ed è per questo che un elenco di valori tutti identici non segnala nulla

limite superiore

Q3 + 1,5 × IQR. Un valore strettamente sopra questa linea è segnalato. Nella fonte da cui viene questa regola i due limiti si scrivono di solito L1 e U1

n

Quanti valori sono entrati, fino a 200 in questa pagina. I limiti sono costruiti sui quartili, quindi un elenco più lungo sposta i quartili e può cambiare quali valori vengono segnalati

Usala quando ti serve sapere se un valore è insolito rispetto al resto del campione, prima di decidere cosa farne: un rendimento mensile dieci volte gli altri, una lettura di sensore fuori scala rispetto alle vicine, un punteggio molto sotto il resto di una classe. La regola dell'IQR, a volte chiamata regola di Tukey dal nome di chi l'ha resa popolare, è il primo passaggio standard perché non fa nessuna ipotesi sulla forma dei dati — a differenza di una regola basata su media e deviazione standard, che viene distorta proprio dai valori estremi che dovrebbe trovare. Quello che questa pagina non può fare è dirti se un valore segnalato è un errore o un estremo reale. Sono due cose diverse: un valore anomalo può indicare dati sbagliati, e può benissimo essere invece la misura più interessante dell'insieme. Lo scarto interquartile ignora di proposito le code, quindi non viene trascinato proprio dai valori che sta mettendo alla prova.

1. Otto valori, uno segnalato

   1. Q1 = 4 e Q3 = 5,5, quindi lo scarto interquartile è 5,5 − 4 = 1,5
   2. 1,5 × IQR = 2,25, da cui un limite inferiore di 4 − 2,25 = 1,75 e un limite superiore di 5,5 + 2,25 = 7,75
   3. 9 sta sopra 7,75, quindi è segnalato; ogni altro valore sta dentro i limiti

   I limiti estremi sono −0,5 e 10, e 9 resta dentro anche quelli, quindi questo è un valore segnalato dalla sola regola interna: lievemente insolito, non estremo. Riportare i limiti estremi a parte è ciò che rende visibile quella distinzione invece di lasciarla a un sì o no.

2. Due valori segnalati, uno fuori da ciascuna coppia di limiti

   1. Q1 = 3,75 e Q3 = 9,25, quindi lo scarto interquartile è 5,5 e 1,5 × IQR = 8,25
   2. I limiti sono 3,75 − 8,25 = −4,5 e 9,25 + 8,25 = 17,5; quelli estremi sono 3,75 − 16,5 = −12,75 e 9,25 + 16,5 = 25,75
   3. 20 sta sopra 17,5 ma dentro 25,75; 30 sta sopra 25,75. Entrambi contano come segnalati, quindi il totale è 2

   I due valori segnalati non sono estremi allo stesso modo, e il solo conteggio lo nasconde. 20 supera il limite interno, 30 supera quello estremo, e l'elenco stampato li tiene in ordine crescente perché si veda quale è quale. Il limite estremo non è una seconda soglia che i valori debbano superare per contare: un valore fra i due limiti è già segnalato.

3. Quando tutti i valori sono uguali tranne uno

   1. Q1 = 1 e Q3 = 1, quindi lo scarto interquartile è 0 e 1,5 × IQR = 0
   2. Entrambi i limiti collassano su 1: il limite inferiore è 1 − 0 = 1 e quello superiore è 1 + 0 = 1
   3. 2 sta strettamente sopra 1, quindi è segnalato — nonostante lo scarto interquartile sia zero

   Uno scarto interquartile di 0 sembra dover disattivare la regola, e non lo fa. Quando quasi tutti i valori sono identici, quello che differisce è per definizione l'unico punto che devia in modo marcato, e la regola lo dice. Per ottenere il risultato opposto — nulla di segnalato — tutti i valori devono essere uguali, e allora i limiti cadono esattamente su quel valore e il confronto è stretto.

Questa pagina riporta i valori segnalati da una regola, e quella regola è una convenzione, non un verdetto. Il fattore 1,5 è una scelta; la stessa fonte che lo dà ne dà anche 3 per una seconda linea più estrema, e altri manuali e altri programmi offrono test diversi basati sui punteggi z o sulla deviazione assoluta dalla mediana. È normale che due strumenti non siano d'accordo su un valore al confine, e non significa che uno dei due sbagli. Un valore segnalato, inoltre, non è automaticamente un errore: una regola così non distingue una cifra digitata male da un'osservazione estrema autentica, e la seconda è spesso la misura più preziosa di un insieme di dati. Eliminare punti sulla sola base di una segnalazione è il modo in cui un'analisi si procura conclusioni che non ha guadagnato. I quartili qui sono calcolati per interpolazione lineare fra i due valori centrali, che è la convenzione più diffusa ma non l'unica: una fonte che arrotonda al valore osservato più vicino può collocare un quartile a mezzo passo di distanza e spostare con esso i limiti. L'elenco è limitato a 200 valori, e un numero come 1,500 viene rifiutato invece di essere interpretato, perché una virgola fra le cifre è un segno decimale in alcuni paesi e un separatore di migliaia in altri.

Come trovare i valori anomali in un insieme di dati?

Ordina i valori e trova il primo e il terzo quartile, Q1 e Q3. Lo scarto interquartile è Q3 − Q1. Ogni valore sotto Q1 − 1,5 × IQR, o sopra Q3 + 1,5 × IQR, viene segnalato. Per l'elenco 2, 4, 4, 4, 5, 5, 7, 9 i quartili sono 4 e 5,5, quindi lo scarto interquartile è 1,5, i limiti sono 1,75 e 7,75 e 9 è segnalato. La calcolatrice qui sopra stampa i quartili e tutti e quattro i limiti, così ogni passaggio si controlla.

Che cos'è un limite, e perché ce ne sono quattro?

I limiti sono le linee di taglio con cui la regola confronta i valori. In inglese si chiamano fence, termine comune nel software, mentre la fonte accademica da cui viene la regola li scrive L1, L2, U1 e U2; qui li rendiamo con limite. I due limiti interni sono Q1 − 1,5 × IQR e Q3 + 1,5 × IQR; quelli estremi usano 3 invece di 1,5 e marcano i valori ancora più fuori. Solo la coppia interna decide cosa viene segnalato. La coppia esterna si stampa perché un valore fra le due linee è lievemente insolito e uno oltre quella estrema non lo è, e un solo conteggio non può mostrare quella differenza.

Devo cancellare un valore anomalo dopo che è stato segnalato?

Non sulla sola base della segnalazione. La regola dice che un valore devia in modo marcato dagli altri; non può dire perché. La stessa fonte osserva che un valore anomalo può indicare dati sbagliati — una cifra digitata male, un sensore guasto, un'unità inserita nella colonna sbagliata — e in quei casi il punto va corretto o rimosso. Può però essere anche una misura autentica, e spesso la più informativa dell'insieme. Prima di togliere qualcosa, trova il motivo: controlla il registro originale, il log dello strumento o le condizioni in cui la lettura è stata prodotta. Eliminare punti perché una regola li ha segnalati è il modo in cui un insieme di dati viene potato finché non dice quello che qualcuno voleva.

Perché un altro strumento segnala un valore diverso?

Perché il fattore 1,5 è una convenzione, non una legge. La fonte che dà 1,5 dà anche 3 per la seconda linea, ed esistono regole del tutto diverse costruite sui punteggi z: una confronta la distanza di ogni valore dalla media con la deviazione standard, un'altra usa la deviazione assoluta dalla mediana con una soglia di 3,5. Anche le convenzioni sui quartili differiscono: questa pagina interpola fra i due valori centrali, mentre alcune fonti arrotondano al valore osservato più vicino, il che può spostare un limite appena oltre un punto al confine. Che due strumenti non siano d'accordo su un valore vicino a un limite è previsto, ed è un motivo per guardare quel valore, non per diffidare di uno dei due strumenti.

E se lo scarto interquartile è zero?

La regola funziona lo stesso, e segnala comunque dei valori. Se Q1 e Q3 valgono entrambi 1, lo scarto interquartile è 0, quindi anche 1,5 × IQR è 0, entrambi i limiti cadono esattamente su 1, e ogni valore strettamente sopra 1 viene segnalato: per l'elenco 1, 1, 1, 1, 1, 2 il 2 è segnalato. A prima vista sembra sbagliato, dato che uno scarto interquartile nullo pare dire che i dati non hanno dispersione. È giusto: quando quasi tutti i valori sono identici, l'unico che differisce è precisamente quello che devia in modo marcato. Il confronto è stretto, quindi un elenco di valori identici non segnala nulla — i limiti cadono proprio su quel valore e nulla sta strettamente fuori.

È la stessa cosa di un test sul punteggio z?

No, e la differenza conta. Un punteggio z divide la distanza di ogni valore dalla media per la deviazione standard, ma sia la media sia la deviazione standard sono calcolate sull'intero campione, valore anomalo compreso, quindi un singolo valore estremo gonfia la deviazione standard e può nascondere se stesso. La regola basata sui quartili non ha questo effetto di ritorno: i quartili sono posizionali, e un valore molto fuori non cambia dove cadono. La fonte dà un limite all'approccio con i punteggi z esattamente per questo motivo, e offre anche una variante costruita sulla deviazione assoluta dalla mediana, così che la misura di dispersione non venga trascinata dal punto che si sta mettendo alla prova.

• Box Plot — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.3.7 (the source of the rule: L1 = lower quartile − 1.5 × IQ and L2 = lower quartile − 3.0 × IQ, with the symmetric U1 and U2, and the two batches of points drawn as small and large circles) — National Institute of Standards and Technology
• Detection of Outliers — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.5.17 (defines an outlier as an observation that appears to deviate markedly from the others, notes that an outlier may indicate bad data, and lists several alternative rules, including modified Z-scores above 3.5) — National Institute of Standards and Technology
• GB/T 3358.1-2009, Statistics — Vocabulary and symbols, Part 1 (the Chinese national vocabulary standard covering the quartiles and the measures of scale this rule is built on; the record page notes that no online full text is offered) — State Administration for Market Regulation, China