Table of Contents
📉 一份資料，兩個相反的結論。98,451 個新生兒，男嬰比例 0.5036。p = 0.024，顯著，拒絕虛無假設。同一組數字用貝氏方法算：虛無假設的後驗機率 95%。🔍 這就是 Jeffreys–Lindley 悖論。p 值只問「離 H₀ 幾個標準誤」，卻從不問「在 H₁ 之下，這個結果有多罕見」。當 n 大到讓標準誤縮成一條縫，這個沒被問的問題會反過來吞掉你的結論。⚠️ 而在健保資料庫、UK Biobank 這種百萬級樣本裡，真正的問題還更早一步：主導誤差來源早就從隨機誤差變成系統性偏誤了。這時候爭論 0.05 還是 0.005，是搞錯戰場。我把三個故事、一條公式，和五個反方論點寫成一篇 👇
📉 One dataset. Two opposite conclusions.
98,451 births, 50.36% boys. p = 0.024 — significant, reject the null. Same numbers, Bayesian analysis: posterior probability of the null ≈ 95%. 🔍 That’s the Jeffreys–Lindley paradox. A p-value only asks how many standard errors you are from H₀. It never asks how surprising your result would be under H₁. Once n gets large enough to squeeze the standard error to a sliver, that unasked question swallows your conclusion. ⚡ And it’s older than you think — Jeffreys worked it out across 16 papers from 1935. Lindley named it in 1957 and later admitted it was “erroneously associated with my name.” 🧵 Three stories, one formula, and five serious objections 👇
數據越多，真相越遠？
拆解統計學最著名的悖論
在大數據的年代，我們習慣把「樣本數夠大」當成可信度的保證。但統計學裡有一個從 1935 年就被反覆論證的結果：當 n 攀升到成千上萬，一個剛好壓線顯著的 p 值，可能反而是支持「什麼都沒發生」的最佳證據。這篇文章拆解它的三個故事、一條公式，以及——同樣重要的——反對這個論點的人在說什麼。
01 / 案例先把悖論講清楚：九萬八千個新生兒
1957 年，劍橋統計學家 Dennis Lindley 在《Biometrika》發表了一篇只有六頁的論文，標題直白得近乎挑釁：〈A Statistical Paradox〉。他開門見山地說，以下兩件事可以同時成立：
（i）針對假設 H 的顯著性檢定顯示，資料在 5% 水準下顯著；
（ii）在相當小的先驗機率下，H 的後驗機率仍高達 95%。
這兩者的常識解讀彼此直接矛盾。 Lindley (1957), p. 187
他用的例子是出生性別比。某城市某段期間出生了 49,581 名男嬰、48,870 名女嬰，合計 98,451 人。男嬰比例為 0.5036。
要檢定的虛無假設是「男嬰機率恰為 0.5」。在 H₀ 之下，男嬰數的期望值是 49,225.5，標準差約 156.9。實測值高出 355.5，也就是 2.27 個標準誤。單尾 p 值約 0.012，雙尾約 0.024——按照教科書規則，這是顯著的，H₀ 該被拒絕。
但如果你用貝氏方法算同一組資料：在 H₁ 之下讓真實比例在一個合理範圍內均勻散布，H₀ 的後驗機率反而升到約 95%。同一份資料，兩套方法，一個說「拒絕」，一個說「這是支持 H₀ 的證據」。
圖一：悖論的幾何直覺。p 值只問「距離 H₀ 有多少個標準誤」。當 n 接近十萬，標準誤縮到極小，2.27 個標準誤在真實尺度上只是 0.0036 的偏差。但 H₁ 主張真實比例「可能落在整條線上任何地方」——觀測值卻剛好緊貼著 H₀。這個巧合，對 H₁ 來說比對 H₀ 來說更難解釋。
02 / 正名這不是 Lindley 的悖論
雖然名字掛在 Lindley 頭上，但這個現象是 Harold Jeffreys 先發現的——而且不是順帶一提。近年 Wagenmakers 與 Ly 系統性地爬梳了 Jeffreys 從 1935 到 1957 年的著作，發現他在 16 篇論文與兩本書裡反覆推導、解釋、製表說明這個現象。它不是 Jeffreys 理論的一個瑕疵，而是他整套貝氏檢定方法的定義性特徵。
Jeffreys 的核心主張其實只有一句話：「顯著」的門檻不可能是標準誤的固定倍數。他在 1935 年就寫下：「因此，說一個系統性差異在達到標準誤的某個固定倍數時才變得顯著，這是不正確的。」
Lindley 本人後來也承認這件事。在 Jeffreys 的訃聞裡他寫道，那個「被錯誤地冠上我的名字」的悖論，在 Jeffreys 的書裡只佔了兩句話——但事實上遠不只兩句。Lindley 甚至補充過一段自嘲：他 1947 年在劍橋聽過 Jeffreys 的課，卻沒真正聽懂對方在說什麼。
還有一段常被略過的插曲：Lindley 1957 年的公式漏掉了一項。同年，Bartlett 發表短文指出，H₁ 之下的先驗若在區間 I 上均勻分布，密度應該是 1/I，Lindley 少寫了這個因子，因此**誇大了**悖論的力道。編輯附註寫著「Lindley 先生同意並致歉」。這一項後來會變得很重要——我們在反方那節會回頭談。
03 / 故事一金星的軌道：三位大師，三種理由
1936 年，Jeffreys 在一篇論文的結尾拿了一個天文學案例來示範這個悖論：金星交點（node of Venus）的超額運動。
這場觀測累積了 12,319 筆資料，結果顯示觀測值與理論預期之間存在 3.5 倍標準誤的偏差。按 Jeffreys 自己的計算，隨機偏差超過 3.5σ 的機率是 4×10⁻⁴。按照傳統規則，這個異常必須被當成真實的。
而這件事非同小可。Jeffreys 在《Scientific Inference》裡寫得很清楚：這個超額運動如果是真的，就與愛因斯坦的重力定律不相容。那是 1930 年代，廣義相對論才剛站穩腳跟。
Jeffreys 的貝氏因子給出相反的答案：以他的檢定，資料反而支持「這只是隨機誤差」。但——這是原始版本常被漏掉的細節——他自己在給 Fisher 的信裡是這樣描述的：
以我的檢定，這東西大概是隨機的，這歸功於合併觀測的數量很大，但沒有太多餘裕。 Jeffreys 致 Fisher，1937
Eddington 的理由不是貝氏
更有意思的是第三位當事人。天文學家 Eddington 也認為這個偏差可以接受為正常，但他的理由完全不同——這是 15 個檢定裡的一個。15 個之中有一個超過 3.5σ 的機率是 0.006。
換句話說，Eddington 用的是多重比較校正的直覺，不是貝氏推論。他和 Jeffreys 得到同樣的結論，卻是走了兩條不同的路。
Fisher 不同意
Jeffreys 把這件事寫信問了 Fisher。Fisher 的回覆很微妙：他說自己傾向接受 Eddington 對天文問題的判斷，尤其既然 Jeffreys 的檢定也支持；但緊接著補了一句——按照一般假設，0.006 這個機率小得完全足以宣稱顯著，而且他毫不懷疑，如果有誰的理論剛好需要這樣一個偏差，大家一定會這樣用它。
原始的通俗版本常說：「如果效應真的存在，觀測到的偏差理應遠比 3.5σ 更劇烈。」這句話只在一個前提下成立：H₁ 假設效應可能散布在一個遠大於標準誤的範圍 m 內。如果真實效應本來就很小，那麼在 n = 12,319 時看到 3.5σ 完全合情合理。
換句話說，悖論的力道來自 H₁ 的設定，而不是來自資料本身。這是理解整件事的關鍵，也正是反對者攻擊的位置。
04 / 故事二、三銅板與球袋：誰是更接近的競爭者
天真的學生
想像一位學生提出一個具體的對立假設：他堅稱某枚銅板不公平，正面機率應為 0.57。虛無假設維持常識，認為是 0.50。
大規模實驗後，實測正面比例是 0.51。由於樣本極大，p 值約 0.01，跨過了門檻。學生歡欣鼓舞。
但停下來想一想：0.51 離 0.50 比較近，還是離 0.57 比較近？答案顯而易見。這揭示了一件事——在大樣本下，一個「統計顯著」的結果，可能在實質意義上更貼近「什麼都沒發生」，而不是支持那個遙遠而誇張的預測。
「距離」在這裡是教學比喻，不是判準。正式的判斷依據是概似比——在觀測值 0.51 之下，L(0.50) 與 L(0.57) 的比值。當 n 很大時這個比值大得驚人，所以結論方向一致；但在小樣本或非對稱分布下，「誰比較近」和「誰的概似比較高」不見得同向。寫進論文時請用概似比或貝氏因子，別用距離。
裝滿球的袋子
第二個例子把「競爭者」這個概念推得更深。想像一個裝有 1,000 顆球的袋子，原假設是黑白各 500 顆。
關鍵在於：這是個離散的世界。最接近 H₀ 的競爭假設是「501 白、499 黑」，比例 0.501——也就是說，這個問題有一個天然的最小可辨效應量：0.001。
當抽樣次數趨於無限大時，標準誤趨近於零。即使 p 值剛好落在 0.05 的邊緣，觀測偏差（≈1.96 個標準誤）也會小於 0.0005。於是出現一個奇景：觀測到的比例，離「黑白各半」比離「最接近的那個競爭對手」還要近。
這個例子其實悄悄預告了後面會談到的解方——如果我們一開始就承認「小於 0.001 的差異在這個問題裡沒有意義」，整個悖論就會換一種面貌。
05 / 機制√n 是一道「選擇效應」的罰則
為什麼固定門檻在大樣本下會失效？Jeffreys 給出的貝氏因子幾乎都是同一個形狀：
其中 z 是估計值除以標準誤（也就是 p 值背後的那個統計量），n 是觀測數，A 是一個接近 1 的常數。指數項裡是「幾倍標準誤」，指數項外是 √n。p 值只看得到前者，貝氏因子兩者都看。
把 K = 1（毫無定論的分界點）解出來，臨界值是 z² = ln(2n/π)：
| 觀測數 n | Jeffreys 臨界 z | Fisher 固定門檻 | 衝突區間 |
|---|---|---|---|
| 10 | 1.36 | 1.96 | —（Fisher 較嚴） |
| 100 | 2.04 | 1.96 | 1.96 – 2.04 |
| 1,000 | 2.54 | 1.96 | 1.96 – 2.54 |
| 10,000 | 2.96 | 1.96 | 1.96 – 2.96 |
| 100,000 | 3.33 | 1.96 | 1.96 – 3.33 |
| 1,000,000 | 3.66 | 1.96 | 1.96 – 3.66 |
圖二：本文的核心圖。Fisher 的門檻是一條水平線——不論你收集了 10 筆還是 100 萬筆資料，1.96 就是 1.96。Jeffreys 的門檻則隨 √(ln n) 緩慢爬升。兩線之間的紫色區域，就是「p 值宣稱顯著、貝氏因子卻認為證據支持虛無假設」的區間。n 越大，這塊區域越寬。
Jeffreys 自己怎麼解釋 √n
1953 年，Jeffreys 為這個因子給出了一句極為漂亮的說法：
這一項表達的是對選擇效應的校正；如果我們特別費力去尋找一個例外的結果，我們理應對它打折扣。 Jeffreys (1953)，評論 Lindley 的文章
換個比喻：虛無假設像一名狙擊手，只瞄準一個點；對立假設像一名拿散彈槍的射手，彈著點覆蓋一大片可能範圍。樣本小時資料模糊，散彈槍沾到邊就算贏；樣本大時資料極度精確，這場比賽的規則就變了——H₁ 涵蓋的絕大多數參數值都被資料排除了，它必須為自己的「不確定性」付出代價。
圖三：懲罰從何而來。H₁ 把有限的機率攤在很寬的範圍上，所以它分配給任何特定小區間的機率密度都很低。當資料把可能性壓縮到 H₀ 附近的一個窄縫時，H₀ 在那裡的預測密度遠高於 H₁。這不是玄學，就是奧坎剃刀的算術版本。
06 / 正方為什麼該認真對待這件事
SUPPORTING
- 這是任何合理證據度量的必然結果。Jeffreys 的立場不是「貝氏比較好」，而是：不存在任何合理的證據定義，可以做到「與樣本數無關的標準誤固定倍數」。這是邏輯結論，不是學派偏好。
- 它不依賴點虛無假設。常見的反駁是「這是把先驗質量放在一個點上的人造產物」。但 Wagenmakers 與 Ly 證明，只要「懷疑方」的效應先驗比「提議方」的更集中於零，悖論就會出現——這個條件寬鬆到近乎恆真。
- 把門檻降到 0.005 不解決問題。悖論的成立與 p 值的具體數值無關。只要 α 是固定的，總能構造出資料集讓頻率派拒絕、貝氏派接受。0.005 只是把衝突區的起點往後推，沒有取消它。
- Jeffreys 說過這在實務上真的發生過。他明確指出，當觀測數達 10 萬，介於 2 到 3.33 倍標準誤之間的係數會被當成真實的——「而事實上這些觀測讓它比之前更不可能」。並補了一句：這種情況不常發生，但確實發生過。
OPPOSING
- Bartlett：這個框架會給出蠢答案。如果對 H₁ 採用最自然的無資訊先驗（整條實數線均勻），貝氏因子會給出對 H₀ 的無限支持——不論資料是什麼。悖論暴露的可能是不當先驗的病態，而不是 p 值的病態。
- Robert：這是先驗的問題，不是檢定的問題。Christian Robert 的立場很明確：這個悖論主要指向不當先驗在檢定點虛無假設時的糟糕表現。它不足以構成對 p 值的控訴。
- Spanos：兩邊都有謬誤。他主張真正的錯誤是把「拒絕 H₀」讀成「支持某個特定 H₁」，而且與 n 無關——這是拒絕謬誤。但貝氏與概似法同樣會犯接受謬誤。他認為頻率派的嚴格度（severity）評估能同時避開兩者，而其他取徑沒有對應的原則性補救。
- 貝氏因子自己也不客觀。近期有研究指出，在常態模型中，任何在 0.05 水準顯著的雙尾結果，都存在某些先驗變異數使貝氏因子支持 H₁、另一些使它支持 H₀。同一組資料、同一個假設，結論由先驗決定。
- 點虛無假設幾乎永遠不真。「男嬰機率恰好是 0.5000000…」在現實中幾乎確定為假。給一個幾乎確定為假的命題灌注一大塊先驗機率，本身就需要辯護。
Bartlett 的解方，以及它的代價
Bartlett 提出過一個聰明的補救：讓 H₁ 的先驗寬度隨 n 收縮（假設「會收集大樣本的研究者，本來就是因為預期效應很小」）。
但這個做法有個致命後果：H₀ 將永遠無法獲得有說服力的支持。n 越大，H₁ 越像 H₀，兩者永遠分不出勝負。而 Jeffreys 檢定哲學的基石正是：任何能被清楚陳述的假設，都應該有機會在適量證據下被接受。這兩件事不能兩全。
被遺忘的第三條路：Neyman–Pearson 就能解決
這裡有一件事值得台灣讀者特別注意，因為它幾乎從不出現在通俗版本裡：你不需要成為貝氏派，也能處理這個問題。
早在 1953 年，Egon Pearson 本人就評論過：如果 n 從 20 增加到 100，我們偵測差異的能力大幅提升——那麼何不犧牲一部分多出來的檢定力，換取降低錯誤拒絕 H₀ 的風險？他直白地說，同樣的實務目標，可以透過「隨 n 增加而降低 α」這個完全合法的手段達成。
換句話說：悖論攻擊的其實只是 Fisher 式「p 值 = 反對 H₀ 的證據強度」這個詮釋。在 Neyman–Pearson 框架下，只要你願意誠實地為每個研究設定 α，這個問題大半可以避開。
I. J. Good 在 1982 年提出過一個粗糙但好用的標準化 p 值：
意思是：把觀察到的 p 值換算成「如果樣本數是 100，這相當於多強的證據」。n = 100 時兩者相同；n 越大，pstan 越大。
試算幾個：p = 0.05、n = 1 萬 → pstan = 0.5。p = 0.005、n = 10 萬 → pstan ≈ 0.16。p = 0.001、n = 100 萬 → pstan = 0.1。
這是啟發式，不是定理（數值可能超過 1），但作為讀論文時的第一道心理防線，非常有效。
07 / 現場放回醫學研究：一個更大的問題
對臨床與流病研究者來說，這個悖論不是哲學消遣。健保資料庫、UK Biobank、電子病歷回溯分析、GWAS——我們現在動輒處理 n 以十萬、百萬計的資料集。
典型場景：一篇百萬人級的觀察性研究報告 HR = 1.02，95% CI 1.01–1.03，p < 0.001。所有人都會盯著那個 p 值。但真正該問的是：
- 2% 的風險增加有臨床意義嗎？如果 MCID（最小臨床重要差異）是 10%，那麼這個「高度顯著」的結果，實質結論是「效應小到不重要」。
- 2% 的偏誤大於 2% 的效應嗎？這是最關鍵、也最常被略過的一點。在超大樣本中，主導誤差來源已經從隨機誤差轉移到系統性偏誤——殘餘干擾、錯誤分類、選擇偏誤、資料庫編碼漂移。當 n 大到標準誤只剩 0.005，而你合理估計的殘餘干擾量級是 0.03，那麼再精美的 p 值都在描述一個被偏誤淹沒的訊號。這時候爭論 0.05 還是 0.005，是搞錯了戰場。
- 它通得過 E-value 嗎？對觀察性研究，計算 E-value（要解釋掉這個關聯，未測量干擾因子需要多強）往往比計算 p 值更有資訊量。HR = 1.02 的 E-value 低到幾乎任何微小偏誤都能推翻它。
- 如果是 GWAS，門檻本來就已經在動了。全基因體關聯研究採用 5×10⁻⁸ 這個門檻，正是因為做了一百萬次檢定。這其實就是實作版的「隨 n（或隨檢定數）調整 α」——遺傳學界早就在做 Egon Pearson 說的那件事了。
換句話說：Jeffreys–Lindley 悖論在醫學現場的正確用法，不是拿貝氏因子去打 p 值，而是提醒我們——當樣本數大到某個程度，統計顯著性就不再是決策的瓶頸，效應量、偏誤與臨床意義才是。
08 / 實作七項檢核
- 永遠把 p 值和 n 一起讀。脫離樣本數的 p 值不構成資訊。看到論文只報 p 不報 n，那本身就是一個訊號。
- 先報效應量與信賴區間，再談顯著性。如果 CI 的兩端在臨床上會導向同一個決策，顯著與否無關緊要。
- 事前定義 MCID 或等效界限（ROPE）。把「多小算沒差別」寫進研究計畫書，而不是看到結果才決定。這正是「球袋例子」教我們的事——先確立最小可辨效應量。
- 用 Good 的 pstan = p√(n/100) 做第一道心算檢核。五秒鐘，就知道這個 p 值有沒有被樣本數灌水。
- 如果 n 很大，把預算花在偏誤分析上。E-value、負對照、敏感度分析、多重插補的合理性——這些比再多做一個顯著性檢定有價值得多。
- 用貝氏因子時，一定做先驗敏感度分析。貝氏因子不是客觀仲裁者。至少報告三組先驗設定下的結果，讓讀者看見結論對先驗的依賴程度。
- 考慮改用區間虛無假設。與其檢定「效應恰為零」（幾乎確定為假），不如檢定「效應落在一個實質等價區間內」。這是文獻上對這個悖論最務實的解方之一。
09 / 結語在超大樣本中保持高尚的懷疑
Jeffreys–Lindley 悖論最容易被誤讀成一句反智口號：「大數據會騙人」。但它真正的訊息更精確，也更謙遜——
證據是相對的。一份資料不會單獨「支持」或「反對」什麼，它只能在兩個具體的、被明確寫出來的假設之間做出裁決。p 值只計算資料在 H₀ 之下有多罕見，卻從不追問：在 H₁ 之下，它罕見到什麼程度？當樣本數大到讓資料變得極度精確，這個未被追問的問題，就會反過來吞掉結論。
而這個悖論本身也值得同樣的懷疑。它的力道來自 H₁ 的設定；它的貝氏解法有自己的病態；它指出的問題，Neyman–Pearson 框架用「隨 n 調降 α」也能大半處理。把它當成一把手術刀，不是一面旗幟。
下次讀到一份樣本量驚人、p 值剛好壓線的研究，
先別問「顯著嗎」，改問三件事：
效應多大？偏誤多大？在對立假設之下，這個結果又有多罕見？
三句帶走
- 樣本規模是雙面刃。資料越精確，對立假設「押注範圍太廣」的代價就越高。在極大樣本下，一個微小的偏離往往是支持「無效應」的證據，而不是反對它。
- 證據的相對性。統計顯著不等於真理。真正的證據力取決於兩個假說中誰更能精確預測當下的觀測——而 p 值只計算了其中一邊。
- 拒絕固定門檻，但也別換一座神壇。忽略樣本規模的 p 值判讀是危險的；但貝氏因子同樣依賴先驗，同樣需要被審查。誠實的做法是報告效應量、預先定義何謂「有意義」，並公開你的假設。
10 / 延伸參考文獻
- Jeffreys, H. (1935). Some tests of significance, treated by the theory of probability. Proc. Cambridge Philos. Soc., 31, 203–222.
- Jeffreys, H. (1936). On some criticisms of the theory of probability. Philosophical Magazine, 22, 337–359.（金星交點案例出處）
- Jeffreys, H. (1939/1961). Theory of Probability. Oxford University Press.
- Lindley, D. V. (1957). A statistical paradox. Biometrika, 44, 187–192.
- Bartlett, M. S. (1957). A comment on D. V. Lindley’s statistical paradox. Biometrika, 44, 533–534.
- Wagenmakers, E.-J., & Ly, A. (2023). History and nature of the Jeffreys–Lindley paradox. Archive for History of Exact Sciences, 77, 25–72.（開放取用，本文史料主要依據）
- Spanos, A. (2013). Who should be afraid of the Jeffreys-Lindley paradox? Philosophy of Science, 80(1), 73–93.（反方核心）
- Robert, C. P. (2014). On the Jeffreys–Lindley paradox. Philosophy of Science, 81(2), 216–232.
- Sprenger, J. (2013). Testing a precise null hypothesis: The case of Lindley’s paradox. Philosophy of Science, 80(5), 733–744.
- Cousins, R. D. (2017). The Jeffreys–Lindley paradox and discovery criteria in high energy physics. Synthese, 194, 395–432.（粒子物理的 5σ 門檻與本悖論的關係）
- Good, I. J. (1992). The Bayes/non-Bayes compromise: A brief review. JASA, 87(419), 597–606.（標準化 p 值出處）
- Benjamin, D. J., et al. (2018). Redefine statistical significance. Nature Human Behaviour, 2, 6–10.／Lakens, D., et al. (2018). Justify your alpha. 同期。（0.005 提案與其反方）