測量偏誤:14.14 和 7.12 不可能同時成立
目錄
英國有一份全國性的性行為調查叫 Natsal。2010 年 9 月到 2012 年 8 月,訪員問了 15,162 個 16 到 74 歲的人:這輩子有過幾個異性伴侶?
男性平均 14.14 個,女性平均 7.12 個
每一段異性關係都會讓男女兩邊的數字各加一。英國的男女人數又差不多,這兩個平均值應該要差不多
差了將近一倍
帳沒有算錯。出問題的地方更早,在受訪者開口的那一刻
這篇講六種測量偏誤(Measurement Bias),六種都在問同一件事:這把尺量到的,是你以為的東西嗎?
7. 社會期許偏誤(Social Desirability Bias)
2019 年,Mitchell 和同事拿這份資料回頭查帳
少數人報的數字特別大。把最高的 1% 壓到上限,差距就從 7.02 縮到 5.47
有人是一個一個數的,有人是大概估的。報 10 個以上的人裡,63.1% 的男性和 52.1% 的女性說自己是估的,答案特別常落在 0 和 5 結尾。把這兩種人分開算,差距剩 3.24
再把受訪者對一夜情和外遇的看法算進去,剩 2.63
七個伴侶的差距,六成三不見了。這中間沒有人多交一個伴侶
受訪者答的,常常是自己覺得應該是幾個
Alexander 和 Fisher 2003 年讓學生接上一台假的測謊機,女性回報的數字就變多了
隱私問卷也有這個問題,有人用披薩量過
2014 年秋天,MIT 發給 3,108 個大學生每人 100 美元的比特幣。Athey、Catalini 和 Tucker 在報名流程裡問學生朋友的 Email,其中一半的人多看到一題:列出三個朋友,我們送你一張披薩
沒有披薩的時候,5% 的人全部填假的。有披薩,剩 2.5%
說自己很在乎隱私的人,被披薩收買的程度跟別人一樣
8. 觀察者偏誤(Observer Bias)
1903 年,法國南錫的物理學家 Blondlot 宣布發現一種新射線,取名 N 射線
要看到它,得待在暗室裡,用肉眼判斷一點微弱的光有沒有變亮。接下來幾年,大約 120 位科學家發表了 300 篇相關的文章
1904 年,美國物理學家 Robert Wood 到他的實驗室參觀。Blondlot 示範用鋁製稜鏡把 N 射線分開,在暗室裡一個位置一個位置報出讀數
Wood 趁暗把稜鏡拿走了
Blondlot 繼續報讀數
儀器少了一塊,數據一筆都沒少
Wood 把經過寫成一封信,1904 年 9 月 29 日登在《Nature》上。整件事不需要任何人說謊,量的人想看到,就看到了
9. 回憶偏誤(Recall Bias)
挑戰者號 1986 年 1 月 28 日爆炸。隔天早上,Neisser 和 Harsch 請 Emory 大學的 106 個學生寫下自己是怎麼知道的
大約兩年半後,他們找回其中 44 個人,請他們再寫一次
滿分 7 分,兩份對得上的程度平均不到 3 分,四分之一的人一分都沒有。他們對第二份的信心還是很高
心理學管這種記憶叫閃光燈記憶(Flashbulb Memory),因為印象鮮明得像拍了照
鮮明和正確,是兩件事
10. 工具與測量誤差(Instrument & Measurement Error)
1990 年,哈伯太空望遠鏡上了太空,傳回來的照片是糊的
主鏡的形狀磨錯了,誤差大約 2 微米,頭髮直徑的幾十分之一。事後的調查查到原因:磨鏡時用來檢查鏡面的儀器,有一片透鏡裝得離下方的鏡子遠了 1.3 公釐
鏡子是照著這台儀器磨的
磨得非常精準,精準地符合了一把歪掉的尺
當時還有另外兩種檢驗方法,結果都清楚顯示鏡面有錯。調查報告寫了一句:Both indicators of error were discounted at the time as being themselves flawed(這兩個警訊當時都被打了折扣,理由是它們自己有問題)
三個工具有兩個示警,他們信了剩下那一個
11. 確認偏誤(蒐集階段)(Confirmation Bias in Collection)
十九世紀的費城醫生 Samuel Morton 收集了上千個頭骨,灌滿鉛彈量容量,再用容量替人種排高低
1978 年,Stephen Jay Gould 在《Science》上指控 Morton 把資料量成了自己相信的樣子,而且不自知。這個故事後來寫進《The Mismeasure of Man》,Morton 成了確認偏誤的標準教材
Gould 沒有重新量過那些頭骨
2011 年,Lewis 和同事量了。Morton 資料裡的 670 個頭骨,他們重量了 308 個,只有 7 個差超過 5.5%,而且看不出偏向哪一邊
抓別人確認偏誤的人,好像自己也有
Weisberg 2014 年反駁,2016 年又和 Paul 再寫一篇。重量的結果他們接受,但 Gould 的論點主要建立在 Morton 1839 年和 1844 年兩次測量之間的變化,重量頭骨回答不了這件事
這場架吵的是 Morton 量得準不準。用頭骨容量替人種排高低,這件事本身站不住腳,吵架的各方都沒有替它翻案
確認偏誤這個詞最常見的用法,是拿來說別人
12. 時間與季節偏誤(Temporal & Seasonal Bias)
Google 2008 年推出 Flu Trends,用搜尋字詞估計流感。做法是從 5,000 萬個字詞裡,挑出最貼合過去 1,152 筆流感數字的那些
流感在冬天,高中籃球也在冬天。Google 的開發者自己說過,他們得把「高中籃球」這類跟流感無關、曲線卻很像的字詞濾掉
濾得掉籃球,濾不掉冬天
Lazer 和同事 2014 年在《Science》上的評語是 part flu detector, part winter detector(一半流感偵測器,一半冬天偵測器)
從 2011 年 8 月算起的 108 週,它有 100 週報得太高。2013 年 2 月,它估的流感就診比例是美國疾管局數字的兩倍多
回到英國那張問卷
如果是你,你會一個一個數,還是報一個差不多的數字?