抽樣偏誤:240 萬份問卷錯在哪裡
目錄
二戰的飛機彈孔,你大概聽過
美軍統計飛回來的戰機,機翼和機身彈孔密密麻麻,引擎幾乎沒有。軍方想加固彈孔最多的地方。統計學家 Abraham Wald 說反過來,要加固沒有彈孔的地方,因為引擎中彈的飛機根本飛不回來
這個故事太好講了,很多講統計的書都會放
它有一個小問題。美國數學學會 2016 年有篇專欄,標題就叫〈The Legend of Abraham Wald〉。裡面說得很直接:Wald 對飛機損傷到底講過什麼,留下來的材料少得可憐,我們熟悉的版本大多是後人合理的重建
Wald 真正留下的是一疊二戰時的機密備忘錄,標題翻成白話是「根據倖存飛機的損傷,估計飛機有多脆弱」,裡面幾乎全是算式。他在解一個很硬的問題:手上只有飛回來的飛機,怎麼推算飛機中彈之後掉下來的機率
算式沒有人想轉傳,「加固沒有彈孔的地方」傳遍了全世界
倖存者偏誤的故事,本身就是個倖存者
這篇講六種抽樣偏誤(Sampling Bias),六種都可以用同一句話抓:誰沒有出現在資料裡?
1. 倖存者偏誤(Survivorship Bias)
道理倒是對的。打開下面的未返航箱,引擎上的彈孔就回來了
飛機的故事可能是傳說,貓的故事有論文
1987 年,紐約兩位獸醫 Whitney 和 Mehlhaff 整理了 132 隻從高樓摔下來的貓,九成活了下來。更怪的是,超過某個樓層之後,摔得越高的貓,傷反而越輕
研究者的解釋是終端速度。貓加速到某個程度就不再加速,牠會放鬆,四肢張開,像一頂降落傘
也可能只是另一件事
摔死的貓不會掛號
2. 樣本選擇偏誤(Sample Selection Bias)
1936 年,美國一份叫《文學文摘》(Literary Digest)的雜誌做了當時最大的民調
寄出一千萬張明信片問卷,收回將近 240 萬張。結論是共和黨的蘭登拿 54%,羅斯福 41%
開票之後羅斯福拿了 61%,蘭登只贏兩個州
先算一件事。如果這 240 萬張是隨機抽的,誤差大約是:
$$1.96 \sqrt{\frac{0.5 \times 0.5}{2{,}400{,}000}} \approx 0.06%$$
它實際錯了將近 20 個百分點,大約是這個數字的 300 倍
樣本變大,只是錯得更精準
同一年,一個叫蓋洛普的年輕人只訪問了 5 萬人,猜對贏家(雖然他也差了將近 7 點)
課本的解釋你應該猜得到。名單主要來自電話簿和汽車登記,大蕭條的時候裝得起電話、開得起車的都是有錢人,有錢人投共和黨
這個解釋流傳了幾十年,我這篇文章的舊版也是這樣寫的
這個答案先放著
3. 涵蓋偏誤(Coverage Bias)
有一群人從一開始就不在名單上,你再怎麼隨機都抽不到他們
台灣的電話民調正在經歷這件事。2015 年以前的幾份面訪調查,家裡沒有市話、只用手機的人還不到一成。陳鴻嘉 2019 年彙整中研院的調查資料,多數估計已經是兩成到兩成五,高的到三成。市話打得到的受訪者也越來越老
2019 年民進黨總統初選,這件事吵到最高點:電話民調要不要打手機?最後市話和手機各半,結果一公布,又有學者質疑這種合併方式
4. 自我選擇偏誤(Self-Selection Bias)
回到 1936 年
《文學文摘》的編輯事後喊過冤。他們說名單沒有大家講的那麼偏,還舉了芝加哥等三個城市,問卷寄給了三分之一到全部的登記選民,得到的結果跟全國一樣
他們也問對了問題:芝加哥收到問卷的人,為什麼只有五分之一願意回?回的這五分之一,為什麼共和黨特別多?
同一篇文章裡,他們老實寫了一句:We did not attempt to interpret the figures(我們沒有試著解讀這些數字)。這本雜誌兩年後就收掉了
1937 年 5 月,愛荷華大學心理系一個叫 Don Cahalan 的碩士生,請蓋洛普的民調順便多問幾題:去年你有收到《文學文摘》的問卷嗎?你有寄回去嗎?
答案 1939 年就發表了,沒什麼人理。1988 年,同一間學校的政治學者 Peverill Squire 重新分析這份資料(對,同一間學校,而且看起來沒有發現前面有人做過)
資料一攤開,課本的說法就站不太住了。電話和汽車的主人,多數投給羅斯福。如果收到問卷的人全部寄回來,《文學文摘》會猜對贏家
蘭登的支持者有將近三分之一把問卷寄回去,羅斯福的支持者只有五分之一。那年大選吵得很兇,對新政不滿的人有一肚子話想說,一張明信片剛好給了他們地方講
生氣的人比較會回信
拆帳的數字還有爭議。Squire 粗估名單佔 11 點、回信佔 7 點,Dominic Lusinchi 2012 年加權重算之後,名單只佔 5.9 點,回信佔 13.7 點(資料是隔年靠受訪者回憶問來的,這點要記著)。兩個人都同意一件事,全部寄回來,贏家就猜對了
那為什麼課本寫的是名單?把這個解釋講出去的,是蓋洛普那一群人。他們賣的就是抽樣方法,《文學文摘》錯在抽樣,這門生意才成立
贏的人順便寫了教科書
Amazon 上的評分常常是一堆五星,少數一星,中間幾乎沒有。Hu、Zhang 和 Pavlou 2009 年找人聽同一張專輯《Mr. A-Z》,規定每個人都要評分,分數就不再分成兩頭了
想法普通的人,不會特地上網講自己想法普通
5. 便利抽樣偏誤(Convenience Sampling Bias)
最方便的受試者,是走廊上的那一個
Arnett 在 2008 年統計了六本頂尖心理學期刊,96% 的受試者來自西方工業國家,這些國家只有全世界 12% 的人口。社會心理學最頂尖的 JPSP,2003 年的美國樣本有 67% 全是修心理課的大學生
課本裡的「人類」,很多是為了學分來的美國大學生
6. 時間區間偏誤(Time Window Bias)
蓋洛普的故事還有下集
1948 年,Roper 九月就停止調查。蓋洛普十月中收工,最後一次調查杜威領先 5 點。《芝加哥論壇報》開票當晚印好了頭條:DEWEY DEFEATS TRUMAN
杜魯門贏了 4.5 點
事後檢討列了一串原因,配額抽樣是一個,最後幾週轉向杜魯門的選民是另一個。民調收工了,選民還沒決定
十二年前用 5 萬份打敗 240 萬份的人,這次跟那張頭條站在同一邊
資料送到你面前之前,已經淘汰過很多東西了
你會讀到這篇文章,是因為它排在搜尋結果前面,或是有人轉傳給你
沒有飛回來的那些文章,上面寫了什麼?