呈現與報告:教大家識破統計謊言的人

目錄
  1. 51. 截斷 Y 軸(Truncated Y-Axis)
  2. 52. 雙軸圖表誤導(Dual-Axis Manipulation)
  3. 53. 摘櫻桃(Cherry-Picking)/ 德州神槍手謬誤
  4. 54. 檔案抽屜問題(File Drawer Problem)
  5. 55. 發表偏誤(Publication Bias)

1954 年,記者 Darrell Huff 出版了《How to Lie with Statistics》(繁中版叫《別讓統計數字騙了你》),今天還是統計入門最常被推薦的書之一

1964 年,菸草業聘了他。1965 年之前,他已經在美國參議院商業委員會作完證,質疑吸菸和疾病的統計關聯。到 1968 年 1 月,他拿到 9,000 美元

他還寫了一本續集,書名是《How to Lie with Smoking Statistics》,始終沒有出版。2014 年,Alex Reinhart 在菸草業的解密文件裡把它挖了出來,留下十二章

教大家識破統計謊言的人,最清楚哪裡可以下手

這篇的五種問題,數字本身都可以是真的


51. 截斷 Y 軸(Truncated Y-Axis)

2015 年 12 月,同一個星期出現了兩張圖

12 月 14 日,保守派雜誌《National Review》推了一張全球氣溫圖,配文 The only #climatechange chart you need to see(關於氣候變遷,你只需要看這張圖)。Y 軸從 −10 畫到 110 華氏度,一百多年的升溫躺成一條平線

12 月 16 日,白宮推了一張高中畢業率的長條圖,Y 軸沒有從 0 開始,幾個百分點的進步看起來像登山

一邊把軸拉長,一邊把軸切短

長條圖靠長度比大小,軸要從 0 開始。氣溫差一度就是大事,軸要貼著資料畫

52. 雙軸圖表誤導(Dual-Axis Manipulation)

2015 年 9 月 29 日,美國眾議員 Jason Chaffetz 在聽證會上拿出一張圖,質詢計畫生育聯盟的主席。圖上癌症篩檢一路往下,墮胎一路往上,兩條線在 2013 年交叉

圖是反墮胎團體 Americans United for Life 做的。兩條線用兩把不同的尺,圖上沒有 Y 軸

2013 年的癌症篩檢是 935,573 次,墮胎大約 327,000 次,篩檢是墮胎的將近三倍

PolitiFact 的評等是 Pants on Fire(褲子著火,他們最嚴重的不實等級)。《波士頓環球報》把它選為 2015 年最誤導的圖表

兩把尺,交叉點想放哪裡就放哪裡

53. 摘櫻桃(Cherry-Picking)/ 德州神槍手謬誤

德州有個神槍手,朝穀倉亂開幾百槍,再走過去,在彈孔最密的地方畫上靶心

美國各州的衛生單位,1980 年代末每年接到 1,300 到 1,600 件癌症群聚通報:我們這條街怎麼這麼多人得癌症?

Atul Gawande 1999 年在《紐約客》上寫了這件事。加州的流行病學家 Raymond Neutra 整理過幾百件美國住宅區的群聚調查,not one has convincingly identified an underlying environmental cause(沒有一件令人信服地找出環境原因)

癌症很常見,街道很多,總有一條街特別倒楣。住在那條街上的人,靶心是畫好的

真的靶心長什麼樣子,土耳其有一個。Karain 村不到 800 個村民,有 25 個間皮瘤病例,最後查出一種新的致癌物

54. 檔案抽屜問題(File Drawer Problem)

Rosenthal 1979 年給這件事想了一個名字,還描述了最極端的情況:期刊裡全是碰巧顯著的那 5%,沒有結果的 95% 都在抽屜裡

要看抽屜裡有什麼,得有人強迫大家把抽屜打開。美國 FDA 規定藥廠要把試驗結果都交上來

Turner 和同事 2008 年把 FDA 手上的 74 個抗憂鬱劑試驗(12 種藥,12,564 個病人)拿去跟期刊比對

FDA 判定結果正面的 38 個,37 個發表了

負面或不確定的 36 個,22 個沒有發表,11 個發表時寫得像正面結果,照實發表的只有 3 個

FDA 手上正面的是 51%。讀期刊會看到 94%

期刊上的效果量,比 FDA 資料算出來的大了 32%。藥還是有效,沒有看起來那麼有效

55. 發表偏誤(Publication Bias)

1959 年,Theodore Sterling 翻了四本心理學期刊。用顯著性檢定的 294 篇論文裡,286 篇拒絕了虛無假設,97.3%

97.3%,獨裁者選舉才有的數字

Franco 和同事 2014 年找到一批可以從頭追蹤的研究:221 個 TESS 計畫的社會科學實驗,不管結果如何都查得到。沒有結果的研究,大約 65% 連寫都沒寫。最後發表的比例,強烈結果超過六成,混合結果大約一半,沒有結果大約兩成

抽屜關上之前,大多數研究連紙都沒有上

Kaplan 和 Irvin 2015 年看了美國國家心肺血液研究院資助的大型試驗。2000 年以前,30 個裡 17 個報告顯著效益。2000 年開始要求事先登記之後,25 個只剩 2 個

事先說好要看什麼,好消息就少了很多。兩件事有關聯,因果沒有人證明過


Huff 的續集留在菸草業的檔案裡,五十年後才被人翻出來

抽屜裡那 22 份試驗,上面寫了什麼?