統計方法:十年、468 頁,和一個分組錯誤

目錄
  1. 31. 迴歸謬誤(Regression to the Mean)
  2. 32. 多重共線性(Multicollinearity)
  3. 33. 遺漏變數偏誤(Omitted Variable Bias)
  4. 34. 過度擬合(Overfitting)
  5. 35. 資料洩漏(Data Leakage)
  6. 36. 前視偏誤(Look-ahead Bias)
  7. 37. 外插謬誤(Extrapolation Bias)
  8. 38. 誤解 P 值(P-value Misinterpretation)
  9. 39. 忽略效果量(Effect Size Neglect)
  10. 40. 檢定力不足(Underpowered Study)
  11. 41. 多重比較問題(Multiple Comparisons)

1933 年,美國統計學者 Horace Secrist 出版了一本 468 頁的書,叫《The Triumph of Mediocrity in Business》(平庸在商業中的勝利)

他花了大約十年,追蹤 49 家百貨公司和另外 73 組商業數列。做法是照第一年的成績把公司分組,再看各組後來的表現。最好的那組一路退步,最差的那組一路進步

Secrist 的結論是商業世界注定走向平庸

Harold Hotelling 寫了書評,說這是 statistical fallacy, resulting from the method of grouping(分組方法造成的統計謬誤)。這些圖表 prove nothing more than that the ratios in question have a tendency to wander about(證明的只有一件事,這些比率會飄來飄去)

Galton 1886 年就看過同樣的現象。928 個成年子女、205 對父母,父母偏離平均多少,子女平均只偏離三分之二

按今年的成績分組,等於先把今年的運氣也分進去了

統計方法的錯誤最難抓,因為每一步都算對了


31. 迴歸謬誤(Regression to the Mean)

Kahneman 年輕時在以色列教空軍的飛行教官心理學。他說獎勵比懲罰有效,一位教官舉手反駁:「我常常稱讚飛得漂亮的學員,他們下一次通常變差。我也常常對飛得爛的學員大吼,他們下一次通常變好」

教官說的都是真的

Kahneman 在地上畫了靶,請大家背對靶丟兩枚硬幣。第一枚丟得最準的人,第二枚大多變差。丟得最差的人,第二枚大多變好

沒有人稱讚,也沒有人吼

表現有一部分是運氣。飛得特別好的那一次,運氣也特別好,下一次運氣回到平常,看起來就退步了

他後來在諾貝爾獎的自傳裡寫 we are statistically punished for rewarding others and rewarded for punishing them(就統計而言,獎勵別人會受罰,懲罰別人會受賞)

32. 多重共線性(Multicollinearity)

1967 年,James Longley 把美國 1947 到 1962 年的經濟資料交給當時的迴歸程式跑,16 年,6 個解釋變數,其中幾個幾乎一起往上走

不同程式算出來的係數,連正負號和第一位數字都不一樣

幾個變數太像,資料裡就沒有足夠的資訊分辨功勞該算誰的

33. 遺漏變數偏誤(Omitted Variable Bias)

多讀一年書,薪水多幾 %?麻煩的是能力。能力好的人書讀得多,也賺得多,能力又量不到

Ashenfelter 和 Krueger 1994 年找了 149 對同卵雙胞胎。基因一樣,家庭一樣,只有念書的年數不一樣

大家預期報酬率會變小。直接算是每年 8.4%,修正受訪者報錯年數的誤差之後是 12% 到 16%,變大了

後來 Ashenfelter 和 Rouse 用更多雙胞胎重做,從 11% 降到 8.8%,這次變小了

漏掉一個變數,連高估還是低估都不好猜

34. 過度擬合(Overfitting)

1953 年春天,年輕的 Freeman Dyson 帶著一份計算去找費米,費米問他用了幾個任意參數

Dyson 說四個

費米說,他的朋友馮紐曼講過:with four parameters I can fit an elephant, and with five I can make him wiggle his trunk(給我四個參數,我可以畫出一頭大象;給我五個,我可以讓牠的鼻子動)

2010 年,Mayer、Khairy 和 Howard 在《美國物理期刊》上發表論文,真的用四個參數畫出一頭大象。這四個參數是複數,算起來其實是八個實數

什麼都畫得出來的模型,畫出來的東西就沒什麼好相信的

35. 資料洩漏(Data Leakage)

Lapuschkin 和同事 2019 年打開一個圖片分類模型,想看它是怎麼認出馬的

那個資料集裡,大約五分之一的馬圖,左下角有一個圖片來源的標記。模型看的就是這個標記

把標記貼到法拉利的照片上,模型說這是馬

訓練資料裡混進了實際使用時不會有的線索,這叫資料洩漏

Zech 和同事 2018 年訓練模型從胸部 X 光判斷肺炎。資料來自三家醫院,西奈山那家 34.2% 有肺炎,另外兩家大約 1%。模型分辨一張 X 光來自哪家醫院,準確率可以超過 99.9%

知道片子來自哪家醫院,就等於先知道了一大半的肺炎機率

用兩家醫院的資料訓練,在同樣兩家測試,AUC 是 0.931(分辨能力的分數,1 是滿分,0.5 等於亂猜)。換到第三家,0.815

Kapoor 和 Narayanan 2023 年整理出 17 個領域、294 篇有這類問題的論文。他們親自查了內戰預測這個領域,符合條件的 12 篇裡,4 篇有錯

就是聲稱複雜機器學習打敗傳統迴歸的那 4 篇

36. 前視偏誤(Look-ahead Bias)

回測投資策略時,很容易用到當時還不知道的資料。財報隔年三月才公布,資料庫記在去年底

Banz 和 Breen 1986 年比較了標準的 COMPUSTAT 資料庫和一個排除了這種偏誤的版本。同樣的策略,報酬有顯著差異,連某個假說的結論都變了

等於用明天的報紙買今天的股票

37. 外插謬誤(Extrapolation Bias)

2004 年,《Nature》登了一篇短文。Tatem 和同事把奧運 100 公尺冠軍的成績畫成直線往後延,預測 2156 年奧運女子 8.079 秒,男子 8.098 秒,女子第一次跑贏男子

六週後,《Nature》登了一封讀者來信

信上說作者忘了提,照同樣的分析,a far more interesting race should occur in about 2636, when times of less than zero seconds will be recorded(大約 2636 年會有一場更精彩的比賽,成績會低於零秒)

38. 誤解 P 值(P-value Misinterpretation)

p 值的定義只有一句:如果其實沒有差別,看到目前這麼極端的資料的機率

p = 0.03 說不出新版本更好的機率是多少,它是在「假設沒有差別」的前提下算的

2002 年,Haller 和 Krauss 在德國給心理系師生看一個 p = 0.01 的結果和六個解讀,六個都是錯的。學生 44 人,全部至少同意一個。沒有在教統計的研究者 39 人,將近九成。教研究方法的老師 30 人,八成

2014 年,George Cobb 在美國統計學會的討論區問了兩題

為什麼這麼多學校教 p = 0.05?因為科學界和期刊都在用

為什麼這麼多人用 p = 0.05?因為學校教的

他的總結是 We teach it because it’s what we do; we do it because it’s what we teach(我們教它,因為大家都這樣做;我們這樣做,因為大家都這樣教)

39. 忽略效果量(Effect Size Neglect)

2012 年 1 月 11 到 18 日,Facebook 調整了 689,003 個人的動態消息,少給一些正面或負面的貼文,看他們自己發文時的用字會不會改變

結果顯著。論文登上《PNAS》,標題有 massive-scale emotional contagion(大規模情緒感染)

效果量 d 最小只有 0.001(d 是用標準差當單位的差距,0.2 通常就算小)。換算下來,大約是每一千個字少一個情緒字

68 萬人,一千個字裡差一個

樣本夠大,什麼差異都顯著。顯著回答的是「有沒有差」,差多少要另外看

40. 檢定力不足(Underpowered Study)

檢定力(Power)是效果真的存在時,研究抓得到它的機率

1962 年,Jacob Cohen 算了 70 篇心理學研究。中等大小的效果,平均檢定力 48%,比丟硬幣還差一點

1989 年,Sedlmeier 和 Gigerenzer 又算了一次,中位數從 1960 年的 46% 變成 1984 年的 44%。他們的論文標題問得很好:Do studies of statistical power have an effect on the power of studies?(研究檢定力的研究,對研究的檢定力有影響嗎?)

2013 年,Button 和同事算了神經科學,中位數大約 21%,各子領域從 8% 到 31%

沒有顯著差異,常常只代表這個研究看不見

41. 多重比較問題(Multiple Comparisons)

Craig Bennett 和同事把一條死鮭魚放進 fMRI 機器,給牠看人在社交場合的照片,請牠判斷照片裡的人有什麼情緒

大腦影像被切成 8,064 個小方塊,一格一格檢定。p < 0.001 的門檻下,16 格「有反應」。校正了「一次做八千多個檢定」這件事之後,一格都沒有

這篇研究得了 2012 年的搞笑諾貝爾獎

試得夠多,死魚也有情緒

David Leinweber 找到一個更賺錢的版本:孟加拉的奶油產量可以解釋 S&P 500 指數 75% 的變動。加上美國的起司產量,95%。再加上孟加拉和美國的綿羊數量,99%

他當然是故意的


回到 Secrist 的那 468 頁

你今年最好的那個季度,有多少是運氣?