實驗設計:霍桑工廠的燈都在星期天換
目錄
1920 年代,西方電氣在芝加哥郊外的霍桑工廠做實驗,想知道照明會不會影響產量
燈調亮,產量上升。燈調暗,產量還是上升。後來的解釋進了課本:工人知道自己被研究,所以更努力
這批實驗的資料 were never formally analyzed and were thought to have been destroyed(從來沒有被正式分析過,大家以為已經銷毀了)
2011 年,經濟學家 Levitt 和 List 順著一篇 1978 年論文附錄裡的一句話,在威斯康辛大學密爾瓦基分校和哈佛商學院的圖書館找到了微縮膠卷
所有的照明調整都發生在星期天,工廠唯一的休息日
星期一的產量本來就比較高,燈有沒有換都一樣
研究「被觀察」最有名的實驗,資料幾十年沒有人看過
實驗設計有九個地方容易出事,這間工廠佔了第一個
42. 霍桑效應(Hawthorne Effect)
Levitt 和 List 把星期的影響扣掉之後,還是看到一點工人對實驗有反應的跡象,他們的形容是 weak evidence(微弱的證據)。至於課本上那些漂亮的規律,他們的用詞是 entirely fictional(完全虛構)
被觀察可能真的會讓人改變,這間工廠的資料能證明的比故事少很多
43. 安慰劑效應(Placebo Effect)
安慰劑對三成五的人有效,這個數字來自 Beecher 1955 年的論文,標題是〈The Powerful Placebo〉。15 個試驗,1,082 個病人,35% 得到滿意的緩解
Kienle 和 Kiene 1997 年把這 15 篇一篇一篇找出來看,結論是 no evidence was found of any placebo effect in any of the studies cited by him(他引用的研究裡,沒有一篇找得到安慰劑效應的證據)
那些病人好轉,有的是自然痊癒,有的是迴歸平均,有的是 Beecher 引錯了
要知道安慰劑有沒有用,得跟什麼都沒吃的人比。Hróbjartsson 和 Gøtzsche 2001 年找到 114 個有這一組的試驗。好了或沒好這種結果,沒有差別。主觀感受有一點差別,疼痛大約是 100 公釐量尺上的 6.5 公釐,而且試驗越大,差距越小
安慰劑的傳奇,有一大半少了一組什麼都沒吃的人
2002 年,Moseley 和同事在休士頓找了 180 個膝關節炎病人,分成三組:關節鏡清創,關節鏡灌洗,假手術。假手術只劃開皮膚,模擬手術的過程,關節鏡根本沒有進去。病人和評估的人都不知道誰是哪一組
追蹤兩年,At no point did either of the intervention groups report less pain or better function than the placebo group(沒有任何一個時間點,手術組的疼痛或功能比假手術組好)
44. 實驗者期望效應(Experimenter Expectancy Effect)
1904 年的柏林,有一匹叫 Hans 的馬會算算術,用蹄子敲出答案
9 月 12 日,一個十三人的委員會發表報告,裡面有馬戲團經理、動物園園長、獸醫和心理學教授。結論是故意的暗示可以排除,目前已知的無意暗示也可以排除
心理學家 Oskar Pfungst 改了一件事:讓問問題的人自己也不知道答案
問的人知道答案,Hans 答對 90% 到 100%。問的人不知道,最多 10%
問題一提出來,提問的人身體會不自覺微微前傾,Hans 開始敲。敲到正確的數字,提問的人頭會微微抬起來,Hans 就停
問的人不知道自己在告訴牠答案
今天的雙盲實驗,做的就是 Pfungst 這件事
1963 年,Rosenthal 和 Fode 告訴 12 個學生,他們分到的老鼠是「聰明」或「笨」的品系。老鼠其實是隨機分的。「聰明」的老鼠每天平均跑對 2.32 次,「笨」的 1.54 次
換成老師和學生,這叫畢馬龍效應,爭議就大多了。Rosenthal 和 Jacobson 告訴老師,隨機挑出來的兩成學生會大器晚成,一年後這些學生的 IQ 進步比較多。Jussim 和 Harber 2005 年回頭檢查,平均只有大約 4 分,11 個年級的比較裡有 8 個沒有效果。Snow 指出有些分數根本不可能,前測接近 0,後測超過 200,把離譜的分數拿掉,效果就沒了
他們的結論是,自我實現的預言確實會發生,通常很小
45. 介入偏誤(Intervention Bias)
1930 年春天,蘇格蘭 Lanarkshire 的 67 所學校有兩萬個孩子參加一項實驗。四個月,一半的孩子每天喝一品脫牛奶,一半不喝
分組用抽籤或照字母。但是規定老師可以換人:如果分出來的組別裡,營養好或營養不良的孩子比例不均,可以調換
結果還沒開始比,沒喝牛奶的那組就比較重,相當於多三個月的生長量,身高多四個月
Gosset(用筆名 Student 發表 t 檢定的那個人)懷疑,老師在不知不覺中,把比較瘦的孩子換進了喝牛奶那組
他的建議是把條件相近的孩子一對一對配好,每對丟硬幣決定誰喝
隨機分派最大的敵人,是好心的人
46. 無反應偏誤(Non-Response Bias)
1975 年,專欄作家 Ann Landers 問讀者,如果可以重來,你還會生小孩嗎?回信的人有 70% 說不會
隔年 Newsday 做了隨機抽樣,91% 的父母說不後悔
後悔的人買了郵票,不後悔的人去接小孩了
47. 問卷偏誤(Questionnaire Bias)
1941 年,Donald Rugg 發表了一個很短的實驗,同一個問題問兩種版本
美國應該允許反對民主的公開演講嗎?75% 說不應該允許
美國應該禁止反對民主的公開演講嗎?54% 說應該禁止
同一件事,差 21 個百分點
Loftus 和 Palmer 1974 年放車禍影片給學生看,問車子 smashed(猛撞)的時候速度多快,平均答 40.8 英里。問 contacted(碰到),31.8 英里
一個動詞,九英里
2011 年民進黨總統初選的民調規則叫對比式:不問蔡英文和蘇貞昌誰好,分別問他們各自對上馬英九時你投誰。五家民調,蔡英文 42.50,蘇貞昌 41.15,差 1.35 個百分點,決定了提名
換一種問法,結果會不會不一樣?不知道,只問了這一種
48. 資訊偏誤(Information Bias)
電腦視覺的模型靠測試集的標準答案排名
2021 年,Northcutt 和同事查了十個常用資料集的測試集,平均至少 3.3% 的標籤是錯的。ImageNet 的驗證集大約 6%
標籤改對之後,只要資料裡原本標錯的比例再多 6%,ResNet-18 就贏過層數多得多的 ResNet-50
考卷的解答本也寫錯了
49. 偵測偏誤(Detection Bias)
1993 年到 2011 年,韓國的甲狀腺癌診斷量增加了 15 倍
死亡率沒有動
Ahn 和同事 2014 年在《新英格蘭醫學期刊》上指出,這段時間超音波篩檢變得非常普遍,做健檢時加 30 到 50 美元就能做
多出來的,是被找到的
50. 排除偏誤(Exclusion Bias)
這個故事流傳很廣:NASA 的衛星早就量到南極的臭氧洞,資料處理程式把太低的數值當成異常值丟掉了,英國南極調查隊的 Farman 1985 年搶先發表
NASA 臭氧團隊的 Richard McPeters 後來寫了一封信,說這是 myth(傳說),起因是一位同事在電視節目《NOVA》上答錯了
他們的做法是標記。低於 180 DU(Dobson 單位,臭氧量的單位)的數值會被標出來,留著
1984 年 7 月,團隊處理 1983 年 10 月的資料,發現標記突然變多。他們去對照南極點的地面測站,那裡報的是大約 300 DU,看起來很正常
地面站的儀器也出了錯,讀錯了波長
衛星是對的。一個出錯的地面站,讓他們懷疑衛星
他們 1984 年底送出論文摘要,Farman 的論文 1985 年 5 月就登出來了
標記留著,事情才查得回去
霍桑工廠的資料在膠卷裡躺了幾十年
沒有人去看的時候,故事一直是對的