抽樣偏誤:240 萬份問卷錯在哪裡

目錄
  1. 1. 倖存者偏誤(Survivorship Bias)
  2. 2. 樣本選擇偏誤(Sample Selection Bias)
  3. 3. 涵蓋偏誤(Coverage Bias)
  4. 4. 自我選擇偏誤(Self-Selection Bias)
  5. 5. 便利抽樣偏誤(Convenience Sampling Bias)
  6. 6. 時間區間偏誤(Time Window Bias)

二戰的飛機彈孔,你大概聽過

美軍統計飛回來的戰機,機翼和機身彈孔密密麻麻,引擎幾乎沒有。軍方想加固彈孔最多的地方。統計學家 Abraham Wald 說反過來,要加固沒有彈孔的地方,因為引擎中彈的飛機根本飛不回來

這個故事太好講了,很多講統計的書都會放

它有一個小問題。美國數學學會 2016 年有篇專欄,標題就叫〈The Legend of Abraham Wald〉。裡面說得很直接:Wald 對飛機損傷到底講過什麼,留下來的材料少得可憐,我們熟悉的版本大多是後人合理的重建

Wald 真正留下的是一疊二戰時的機密備忘錄,標題翻成白話是「根據倖存飛機的損傷,估計飛機有多脆弱」,裡面幾乎全是算式。他在解一個很硬的問題:手上只有飛回來的飛機,怎麼推算飛機中彈之後掉下來的機率

算式沒有人想轉傳,「加固沒有彈孔的地方」傳遍了全世界

倖存者偏誤的故事,本身就是個倖存者

這篇講六種抽樣偏誤(Sampling Bias),六種都可以用同一句話抓:誰沒有出現在資料裡?


1. 倖存者偏誤(Survivorship Bias)

道理倒是對的。打開下面的未返航箱,引擎上的彈孔就回來了

飛機的故事可能是傳說,貓的故事有論文

1987 年,紐約兩位獸醫 Whitney 和 Mehlhaff 整理了 132 隻從高樓摔下來的貓,九成活了下來。更怪的是,超過某個樓層之後,摔得越高的貓,傷反而越輕

研究者的解釋是終端速度。貓加速到某個程度就不再加速,牠會放鬆,四肢張開,像一頂降落傘

也可能只是另一件事

摔死的貓不會掛號

2. 樣本選擇偏誤(Sample Selection Bias)

1936 年,美國一份叫《文學文摘》(Literary Digest)的雜誌做了當時最大的民調

寄出一千萬張明信片問卷,收回將近 240 萬張。結論是共和黨的蘭登拿 54%,羅斯福 41%

開票之後羅斯福拿了 61%,蘭登只贏兩個州

先算一件事。如果這 240 萬張是隨機抽的,誤差大約是:

$$1.96 \sqrt{\frac{0.5 \times 0.5}{2{,}400{,}000}} \approx 0.06%$$

它實際錯了將近 20 個百分點,大約是這個數字的 300 倍

樣本變大,只是錯得更精準

同一年,一個叫蓋洛普的年輕人只訪問了 5 萬人,猜對贏家(雖然他也差了將近 7 點)

課本的解釋你應該猜得到。名單主要來自電話簿和汽車登記,大蕭條的時候裝得起電話、開得起車的都是有錢人,有錢人投共和黨

這個解釋流傳了幾十年,我這篇文章的舊版也是這樣寫的

這個答案先放著

3. 涵蓋偏誤(Coverage Bias)

有一群人從一開始就不在名單上,你再怎麼隨機都抽不到他們

台灣的電話民調正在經歷這件事。2015 年以前的幾份面訪調查,家裡沒有市話、只用手機的人還不到一成。陳鴻嘉 2019 年彙整中研院的調查資料,多數估計已經是兩成到兩成五,高的到三成。市話打得到的受訪者也越來越老

2019 年民進黨總統初選,這件事吵到最高點:電話民調要不要打手機?最後市話和手機各半,結果一公布,又有學者質疑這種合併方式

4. 自我選擇偏誤(Self-Selection Bias)

回到 1936 年

《文學文摘》的編輯事後喊過冤。他們說名單沒有大家講的那麼偏,還舉了芝加哥等三個城市,問卷寄給了三分之一到全部的登記選民,得到的結果跟全國一樣

他們也問對了問題:芝加哥收到問卷的人,為什麼只有五分之一願意回?回的這五分之一,為什麼共和黨特別多?

同一篇文章裡,他們老實寫了一句:We did not attempt to interpret the figures(我們沒有試著解讀這些數字)。這本雜誌兩年後就收掉了

1937 年 5 月,愛荷華大學心理系一個叫 Don Cahalan 的碩士生,請蓋洛普的民調順便多問幾題:去年你有收到《文學文摘》的問卷嗎?你有寄回去嗎?

答案 1939 年就發表了,沒什麼人理。1988 年,同一間學校的政治學者 Peverill Squire 重新分析這份資料(對,同一間學校,而且看起來沒有發現前面有人做過)

資料一攤開,課本的說法就站不太住了。電話和汽車的主人,多數投給羅斯福。如果收到問卷的人全部寄回來,《文學文摘》會猜對贏家

蘭登的支持者有將近三分之一把問卷寄回去,羅斯福的支持者只有五分之一。那年大選吵得很兇,對新政不滿的人有一肚子話想說,一張明信片剛好給了他們地方講

生氣的人比較會回信

拆帳的數字還有爭議。Squire 粗估名單佔 11 點、回信佔 7 點,Dominic Lusinchi 2012 年加權重算之後,名單只佔 5.9 點,回信佔 13.7 點(資料是隔年靠受訪者回憶問來的,這點要記著)。兩個人都同意一件事,全部寄回來,贏家就猜對了

那為什麼課本寫的是名單?把這個解釋講出去的,是蓋洛普那一群人。他們賣的就是抽樣方法,《文學文摘》錯在抽樣,這門生意才成立

贏的人順便寫了教科書

Amazon 上的評分常常是一堆五星,少數一星,中間幾乎沒有。Hu、Zhang 和 Pavlou 2009 年找人聽同一張專輯《Mr. A-Z》,規定每個人都要評分,分數就不再分成兩頭了

想法普通的人,不會特地上網講自己想法普通

5. 便利抽樣偏誤(Convenience Sampling Bias)

最方便的受試者,是走廊上的那一個

Arnett 在 2008 年統計了六本頂尖心理學期刊,96% 的受試者來自西方工業國家,這些國家只有全世界 12% 的人口。社會心理學最頂尖的 JPSP,2003 年的美國樣本有 67% 全是修心理課的大學生

課本裡的「人類」,很多是為了學分來的美國大學生

6. 時間區間偏誤(Time Window Bias)

蓋洛普的故事還有下集

1948 年,Roper 九月就停止調查。蓋洛普十月中收工,最後一次調查杜威領先 5 點。《芝加哥論壇報》開票當晚印好了頭條:DEWEY DEFEATS TRUMAN

杜魯門贏了 4.5 點

事後檢討列了一串原因,配額抽樣是一個,最後幾週轉向杜魯門的選民是另一個。民調收工了,選民還沒決定

十二年前用 5 萬份打敗 240 萬份的人,這次跟那張頭條站在同一邊


資料送到你面前之前,已經淘汰過很多東西了

你會讀到這篇文章,是因為它排在搜尋結果前面,或是有人轉傳給你

沒有飛回來的那些文章,上面寫了什麼?