外れ値計算

下限フェンス = Q1 − 1.5 × IQR　　上限フェンス = Q3 + 1.5 × IQR

Q1

第1四分位数、つまり25パーセンタイルで、データの4分の1がこれ以下に来る値です。下限フェンスの基準になります

Q3

第3四分位数、つまり75パーセンタイルです。Q1とともにデータの真ん中の半分を挟み、上限フェンスの基準になります

IQR

四分位範囲でQ3 − Q1、データの真ん中の半分の幅です。1.5を掛けた値が、真ん中の半分からどれだけ離れていれば印を付けるかを決めます

下限フェンス

Q1 − 1.5 × IQRです。この線より厳密に下の値が印を付けられ、ちょうど線の上の値には付きません。値がすべて同じリストで何も印が付かないのはこのためです

上限フェンス

Q3 + 1.5 × IQRです。この線より厳密に上の値が印を付けられます。この規則の出典では、2本のフェンスをL1とU1と書いています

n

入力された値の個数で、ここでは最大200です。フェンスは四分位数から作られるので、リストが長くなれば四分位数が動き、印が付く値も変わります

ある値がほかの値に比べて珍しいかどうかを、それをどう扱うか決める前に知りたいときに使います。他の月の10倍ある月次リターン、隣の値からかけ離れたセンサーの読み、クラスのほかの生徒よりずっと低いテストの点、といったものです。1.5 × IQRの規則は、広めた人物の名を取ってテューキーの規則と呼ばれることもあり、データの形について何も仮定しないので最初のふるい分けとして標準になっています。平均と標準偏差に基づく規則とはそこが違います。そちらは、見つけたいはずの極端な値そのものに歪められます。このページにできないのは、印が付いた値が誤りなのか、本当の極端な値なのかを決めることです。この2つは別物で、外れ値は悪いデータを指していることもあれば、そのデータセットでいちばん面白い測定値であることも同じくらいあります。四分位範囲は裾を意図的に無視するので、調べている値そのものに引きずられません。箱ひげ図では、この2本のフェンスの外側の点が個別に描かれます。

1. 8つの値のうち1つに印が付く

   1. Q1 = 4、Q3 = 5.5なので、IQR = 5.5 − 4 = 1.5
   2. 1.5 × IQR = 2.25で、下限フェンスは4 − 2.25 = 1.75、上限フェンスは5.5 + 2.25 = 7.75
   3. 9は7.75より上なので印が付き、他の値はすべてフェンスの内側に入ります

   遠いフェンスは−0.5と10で、9はその内側にあります。つまりこれは内側の規則だけで印が付いた値で、極端というより、やや珍しいという程度です。遠いフェンスを別に報告すると、この区別が白黒の判定に潰されずに見えます。

2. 2つに印が付き、片方は遠いフェンスも越える

   1. Q1 = 3.75、Q3 = 9.25なので、IQR = 5.5、1.5 × IQR = 8.25
   2. フェンスは3.75 − 8.25 = −4.5と9.25 + 8.25 = 17.5、遠いフェンスは3.75 − 16.5 = −12.75と9.25 + 16.5 = 25.75
   3. 20は17.5より上ですが25.75の内側にあり、30は25.75より上です。どちらも印が付くので、合計は2です

   印が付いた2つの値は、同じくらい極端なわけではありません。数だけではそこが見えません。20は内側のフェンスを越え、30は遠いフェンスも越えていて、印字されるリストは昇順のままなので、どちらがどちらか分かります。遠いフェンスは、数に含めるために越えなければならない2本目のしきい値ではありません。2本のフェンスの間にある値も、すでに印が付いています。

3. 1つを除いてすべて同じ値のとき

   1. Q1 = 1、Q3 = 1なので、IQR = 0、1.5 × IQR = 0
   2. 2本のフェンスが1の上に重なります。下限フェンスは1 − 0 = 1、上限フェンスは1 + 0 = 1です
   3. 2は1より厳密に上なので、四分位範囲が0であるにもかかわらず印が付きます

   四分位範囲が0だと規則が止まりそうに見えますが、止まりません。ほとんどすべての値が同じとき、違う1つは定義上ただ1つの外れた点であり、規則はそう言っています。逆に何も印を付けないためには、すべての値が同じである必要があります。そのときはフェンスがちょうどその値の上に来て、比較が厳密になるからです。

このページが報告するのは、1つの規則で印を付けられた値であって、その規則は判定ではなく慣習です。1.5という掛け数は選択であって、同じ出典が2本目のより極端な線として3.0も与えており、ほかの教科書やソフトウェアはz値や中央絶対偏差に基づく別の検定を用意しています。2つのツールが境界ぎわの値について食い違うのは普通のことで、どちらかが間違っているわけではありません。印が付いた値が自動的に誤りでもありません。この種の規則は打ち間違えた1桁と本物の極端な観測を区別できず、後者であることもよくあります。それどころか、データセットで最も価値のある測定値であることも少なくありません。印だけで点を削除すると、分析は自分で稼いでいない結論を手に入れることになります。ここでの四分位数は真ん中の2つの値の間を線形補間して求めており、これが最も一般的な流儀ですが唯一ではありません。最も近い観測値に丸める出典では、四分位数が半歩ずれてフェンスも一緒に動きます。リストは200個までで、桁の間にコンマを入れた入力は推測せずに拒否します。数字の間のコンマは多くの国では小数点、別の国では桁区切りを意味するからです。コンマを外して書くか、小数で書き直してください。このページは外れ値に印を付けるだけで、削除するかどうかは決めません。

外れ値の求め方を教えてください

値を並べ替えて第1四分位数Q1と第3四分位数Q3を求め、四分位範囲をQ3 − Q1で出します。Q1 − 1.5 × IQRより下、またはQ3 + 1.5 × IQRより上の値に印が付きます。2、4、4、4、5、5、7、9では四分位数が4と5.5なので四分位範囲は1.5、フェンスは1.75と7.75になり、9に印が付きます。上の計算ツールは四分位数と4本のフェンスをすべて印字するので、各段を確かめられます。

フェンスとは何で、なぜ4本もあるのですか

フェンスは、規則が値を比べる相手になる区切りの線です。呼び名はソフトウェアでよく使われ、教科書の出典ではL1、L2、U1、U2と書きます。内側の2本はQ1 − 1.5 × IQRとQ3 + 1.5 × IQRで、遠いフェンスは1.5の代わりに3.0を使って、さらに外側の値を示します。どれに印を付けるかを決めるのは内側の2本だけです。遠い2本も印字するのは、2本の線の間にある値はやや珍しく、遠い線を越えた値はそうではない、という違いを1つの数では示せないからです。

印が付いた外れ値は削除すべきですか

印だけで判断してはいけません。この規則が言えるのは、その値がほかから著しく逸脱しているということで、理由までは言えません。同じ出典も、外れ値が悪いデータを指すことがあると述べています。打ち間違えた1桁、故障したセンサー、列を間違えて入れた単位などで、その場合は直すか取り除くべきです。ただし本物の測定値であることも同じくらいあり、多くの場合データセットで最も情報量の多い1点です。外す前に理由を探してください。元の記録、計器のログ、その値を生んだ条件を確かめます。規則が印を付けたからという理由で点を削除していくと、データセットは誰かが望んだことを言うまで削られていきます。

別のツールは違う値に印を付けるのはなぜですか

1.5という掛け数が法則ではなく慣習だからです。1.5を与えている出典は2本目の線として3.0も与えていますし、z値に基づくまったく別の規則もあります。平均からの距離を標準偏差と比べるもの、中央絶対偏差と3.5というしきい値を使うものなどです。四分位数の流儀も違います。このページは真ん中の2つの値を補間しますが、最も近い観測値に丸める出典もあり、それだけで境界ぎわの点が線の向こうへ動きます。2つのツールがフェンスの近くの値で食い違うのは想定内のことで、どちらかを疑う理由ではなく、その値をよく見る理由です。

四分位範囲が0のときはどうなりますか

規則はそのまま動き、値にも印が付きます。Q1もQ3も1なら四分位範囲は0、1.5 × IQRも0で、2本のフェンスはどちらもちょうど1に来ます。1より厳密に大きい値に印が付くので、1、1、1、1、1、2では2に印が付きます。四分位範囲が0ならデータに散らばりがないはずでは、と最初は思えますが、これは正しい結果です。ほとんどすべての値が同じとき、違う1つこそが著しく逸脱した値だからです。比較は厳密なので、値がすべて同じリストでは何も印が付きません。フェンスがその値の上に来て、厳密に外側の値が存在しないからです。

z値による検定と同じものですか

違いますし、その違いは重要です。z値は平均からの距離を標準偏差で割りますが、平均も標準偏差も外れ値を含む標本全体から計算されるので、極端な値が1つあると標準偏差が膨らんで自分自身を隠してしまいます。四分位数に基づく規則にはこのフィードバックがありません。四分位数は位置で決まるので、遠く離れた値があってもその位置は動きません。出典がz値の方式に限界値を与えているのはまさにこの理由で、同じ理由から、散らばりの尺度が調べている点に引きずられないよう、中央絶対偏差に基づく変種も用意されています。

• Box Plot — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.3.7：この規則の出典で、L1 = 下側四分位数 − 1.5 × IQ、L2 = 下側四分位数 − 3.0 × IQと対称なU1・U2を定め、2群の点を小さい丸と大きい丸で描き分けている節 — 米国標準技術研究所（NIST）
• Detection of Outliers — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.5.17：外れ値を他の観測値から著しく逸脱して見える観測値と定義し、外れ値が悪いデータを指すことがあると述べたうえで、修正z値が3.5を超えるものを含むいくつかの代替規則を挙げている節 — 米国標準技術研究所（NIST）
• GB/T 3358.1-2009, Statistics — Vocabulary and symbols, Part 1：この規則が土台にしている四分位数と散らばりの尺度を定めた、統計の用語と記号に関する中国の国家規格。規格の記録ページには、オンライン全文の提供がない旨が記されています — State Administration for Market Regulation, China