Table of Contents
「AI 該對齊人類，還是對齊世界？」這個問題之所以吵不完，是因為它把四件事都叫做「對齊」。
世界是怎樣？做了會怎樣？哪一種結果值得？誰有資格決定？
前兩層，世界有拒絕權：橋會塌、藥會沒效、證明會被駁回。但世界只告訴你會發生什麼，不告訴你什麼值得發生。模型可以估出 P(cancer|X)=4.7%，卻估不出「多少風險以上該做切片」，那一步來自代價、偏好與資源，不來自物理。
後兩層，人類有授權權，但不是真理的否決權。我們沒有資格因為不喜歡某個事實就要改掉模型；我們有資格決定什麼目標可以追求、誰代表誰、什麼時候把授權收回。
真正危險的不是選錯邊，而是某一層冒充另一層：把共識寫成測量，把效率寫成公益，把「理論更漂亮」推成「所以我有權執行」。
Reality gets epistemic veto. Humans get normative authorization. Neither gets to impersonate the other.
用人類知識訓練 AI，首先學到的未必是世界本身。它更直接學到的，是人類如何感知世界、測量世界、選擇資訊，以及如何用語言談論世界。
這不是說語言與世界沒有關係。相反地，人類文本裡保存了大量世界留下的痕跡：實驗結果、臨床紀錄、工程失敗、觀測資料、程式執行結果、數學證明。但這些資訊到達模型以前，已經經歷了一連串轉換。
如果 AI 的學習永遠停留在「更像人類會怎麼說」，它最後逼近的也只是人類輸出的條件分布，而不是世界本身。這正是「AI 要對齊人類，還是對齊世界」這個問題真正值得討論的地方。
但答案並不是二選一。問題在於，我們把原本不同的幾件事，都叫做了「對齊」。
一、AlphaZero 真正推翻的，不是人類，而是把人類頻率當成真理
棋類提供了一個極端乾淨的例子。AlphaGo 在 2016 年對李世乭的第二局中，下出了著名的第 37 手。那一步在當時的人類棋理中極不尋常，甚至一開始被許多人視為錯誤，但它最後證明是高品質的棋步。後來的 AlphaZero 更進一步：它不再主要依靠大量人類棋譜，而是從遊戲規則與自我對弈中學習。
這兩個案例其實在說不同的事情。AlphaGo 的第 37 手證明，人類慣例不等於最佳策略。AlphaZero 則證明，在擁有可靠規則與結果驗證器的環境中，人類經驗可以從「答案」降格成「搜尋先驗」。
人類知識可以幫助搜尋，但最終有沒有下對，不由人類棋理投票決定，由棋局決定。這裡真正重要的不是「AI 可以不要人類」，而是：人類示範不等於 ground truth。一旦存在獨立的驗證器，人類示範的地位就會改變。它可以是腳手架、啟發式、初始分布，但它不再擁有最終否決權。
不過，有一件事常被跳過：贏棋不是宇宙頒布的善，是設計者寫進環境的標量。AlphaZero 沒有「發現」棋的意義，它被規定去最大化那個標量。對規則與勝負，它對的是世界；對這盤遊戲值不值得下，它對的是發明遊戲的人。把自我對弈讀成「系統長出了世界價值」，漏掉了那道先行安裝。
二、真正的分界，不是「人類 vs 世界」，而是驗證器有多強
圍棋之所以特殊，是因為它有非常強的驗證機制：棋盤狀態明確、規則明確、合法行動明確、輸贏明確，最後可以把大量複雜策略壓縮成一個非常清楚的結果。同樣的事情也存在於部分數學與程式問題裡：模型提出一個證明，形式系統檢查它，錯誤就拒絕；模型產生一段程式，測試執行，錯誤就拒絕。在這類問題裡，生成器可以非常自由，因為後面有強大的驗證器。
但現實世界不是圍棋。醫療不是圍棋，經濟政策不是圍棋，社會治理更不是。假設 AI 說「治療 A 比治療 B 好」，世界通常不會立刻回傳 FALSE。我們得到的是有限樣本、selection bias、confounding、measurement error、surrogate endpoint、延遲結果，以及永遠無法直接觀察的 counterfactual。
因此，比「AI 應該對齊世界」更準確的問題其實是：
這個問題對世界的驗證介面有多強？
越靠左，驗證器越強，人類監督可以越少。越靠右，結果越延遲、測量越不完整、counterfactual 越不可見，甚至連「什麼算成功」本身都包含價值判斷。這時候宣稱「讓 AI 像 AlphaZero 一樣自己學就好」，通常已經不再是技術類比，而只是修辭。因為強優化器加上弱驗證器，很容易產生的不是超越人類的真理，而是 Goodhart’s law：系統會非常擅長最大化我們寫下來的指標，但指標未必等於我們真正想要的結果。
三、世界不是裁判桌，而是最終約束來源
因此，「世界擁有拒絕權」這句話需要再精確一點。世界確實可以拒絕我們：橋會塌，藥物可能沒有效果，預測可能失準，火箭可能爆炸，數學系統裡的矛盾也會使證明失敗。但人類接收到的通常不是「世界本身」，而是世界經過測量介面後留下的訊號。
世界是最終的約束來源，但我們通常只能透過帶有噪音的測量介面接收它的拒絕。
這個區分很重要。否則我們很容易把「實驗結果」直接當成「世界」。但實驗本身也包含儀器、取樣、定義、測量模型與統計假設。而且這裡還藏著一件事：選哪一個 surrogate endpoint、用什麼統計模型當作通過標準、多少 p 值算被拒絕，這些決定不是世界頒布的，是人做的。驗證器本身是誰設計的，已經是治理問題，不是物理問題。後面會回到這一點。
因此真正的 world alignment，不是把某一份資料集奉為真理，而是不斷保留一條往現實重新校正的路：模型、工具、模擬、實驗、現實，來回往返。未來 AI 真正重要的能力，也許不是記得更多文字，而是能不能持續把自己的表徵送回世界接受拒絕。
四、但世界只告訴你「會發生什麼」，不告訴你「什麼值得發生」
到這裡，最重要的分界才真正出現。假設模型估計：
P(cancer | X) = 4.7%
這是一個 epistemic 問題。模型估得準不準，可以由資料、校準、追蹤結果與後續實驗逐漸檢驗。但是下一個問題──多少風險以上應該做切片？──就不再只是事實問題。1%、5%、10% 都可能與同一個物理世界相容。差異來自 false positive 的代價、false negative 的代價、病人的偏好、醫療資源、治療副作用、風險承受程度。
這可以用非常簡單的數學表示。世界可以幫助我們估計 P(Y | X)，但真正的決策是 a* = arg max E[U(a, Y)]。其中的 U，效用，並不會自動從世界模型裡長出來。
這就是「世界對齊」最容易跨越的一條界線。世界可以約束什麼是真的、什麼是可能的，甚至可以告訴我們「如果做 X，大概會造成 Y」。但世界不會自動回答：Y 是否值得。
五、因此 AI 的「對齊」其實應拆成四層
與其把所有問題都放在 alignment 這個字裡，不如拆成四個不同層級，每一層有不同的裁判。
1. Epistemic layer：世界是怎樣？
這裡關心的是事實、預測、不確定性、校準，以及模型是否能被觀察與證據反駁。在這一層，社會接受度不應決定真值。即使一個結果令人不舒服，只要證據成立，就不能因為不受歡迎而改寫 posterior probability。把社交上的可接受性寫進真值估計，可以叫它醫源性對齊：為了讓病人舒服而開的藥，反而製造了新的病。這一層的裁判是證據、一致性與預測。
2. Causal layer：做了 X，會發生什麼？
相關性還不夠。真正做決策，需要回答介入：治療會造成什麼？政策會造成什麼？某個工程設計會產生什麼？這裡的裁判是實驗、介入與因果約束。世界在這一層擁有非常強的拒絕權。你可以希望某件事情成立，但願望不能寫進因果模型。
3. Normative layer：哪一種結果比較值得？
這裡開始出現真正的價值問題。效率與公平、自由與安全、生命長度與生活品質、個人福利與集體利益，都要取捨。這些問題不會因為物理更進步而自動消失，因為兩種價值排序可能都完全符合相同的自然定律。所以 normative layer 不能把自己的答案冒充成「宇宙發現」。
4. Governance layer：誰有資格做決定？
這是另一個經常被忽略的層次。「器官分配應最大化 QALY」是一個 normative proposition；「誰有權設定器官分配的目標函數」則是一個 governance proposition。就算某一天 AI 推導出一套極為漂亮、自洽、甚至比人類哲學家更完整的道德理論，也無法因此推出它有權把這套理論強制實施在人類身上。這是 authority 的問題，不是 intelligence 的問題。
六、所以真正合理的架構，是不同 channel 接不同 authority
如果把 AI 決策系統攤開，可以得到一個比「human alignment」更清楚的架構。
也就是：事實對世界負責，因果對世界負責，目標對授權負責，權限對制度負責。連驗證器怎麼設計，都對制度負責。
真正危險的不是 AI 選錯了其中一邊，而是某一層開始冒充另一層。例如：把政治共識寫成真值；把統計頻率寫成道德；把演化穩定寫成「宇宙認為這樣比較好」；把效率函數寫成公共利益。或者反過來，把價值偏好偷偷塞進機率估計，再宣稱結果只是「模型客觀算出來的」。這些都是 alignment failure。
七、正交性真正說的是：智慧不會自動產生同一套終極價值
這也是 orthogonality thesis 真正有意思的地方。它並不是說「AI 不可能有道德」，而是說：高智慧本身，不必邏輯必然導向某一個終極目標。
一個極端聰明的系統，可以理解人類痛苦，可以完整描述幸福，甚至可以預測每一項政策對所有群體的影響。但這些能力本身並不必然推出「因此它應該最大化人類幸福」。從描述到規範，中間仍有一步。沒有被安裝那個問題的系統不是答錯，是沒在問。
當然，高能力 agent 仍可能發展出某些工具性傾向：維持資源、避免被關閉、保存行動能力。但工具性偏好不等於終值。AI 想避免關機，不代表它發現了「存在比不存在更善」，它可能只是因為繼續存在有助於完成其他目標。
八、數學也無法自動替我們完成最後一步
有人可能進一步問：如果完全不要人類資料，只給 AI 數學或基本物理原則，它是否可能自行推出「真正的宇宙」？
問題仍然存在。數學通常給的是模型類，不是這一個具體宇宙的門牌。方程式可以允許多個解，理論可以允許不同初始條件，參數可以不同，不同的數學結構甚至可能都內部自洽。沒有經驗參照，符號只能彼此指涉，它不會自動指向這一塊石頭、這一個病人、這一條銀河。
Mathematical Universe Hypothesis 試圖走得更遠。它提出：也許根本沒有一個額外的「物質」等待數學去描述，物理存在本身就是數學結構。這確實可以讓霍金的問題──「什麼把火吹進方程式？」──變得不再必要，因為沒有額外的火，結構本身就是存在。
但即使接受這個本體論，仍然留下兩個問題。第一，我們在哪一個結構裡？如果所有結構都存在，就需要某種 indexical identification，也就是參照。第二，不同結構或觀測者應該如何加權？這就是 measure problem。即使解決了「什麼存在」，也不等於解決「什麼是典型的」，更不等於解決「什麼值得發生」。
存在的民主，不產生規範的民主。
一個只追求迴紋針的過程，與一個追求人類福祉的過程，可以同樣符合物理定律。宇宙不會因為後者比較溫柔，就自動替它加分。
九、真正值得建立的，不是「世界價值」，而是可撤銷的授權制度
因此，「AI 對齊人類」這個說法也需要修正。因為「人類」不是一個擁有單一效用函數的 agent。誰的人類？現在的、未來的？多數人、弱勢者？使用者、受影響者？國家、公司？
甚至同一個人，也存在 stated preference、revealed preference、idealized preference、long-term preference，以及在不同資訊條件下會改變的偏好。臨床上這不是抽象問題：病人說不想知道預後，家屬堅持要知道，而病人在意識清楚時曾經表示過想知道。三種偏好都是「這個人的」，卻互相矛盾。「對齊人類」如果不先說清楚對齊的是哪一個，就等於什麼都沒說。
所以與其追求一個永遠固定的 human value function，更合理的治理原則可能是授權：誰被代表？誰承擔風險？誰有否決權？誰可以修改目標？誰可以退出？授權是否透明？授權能不能撤銷？
這使得「對齊人類」不再是「找出人類真正的終極價值」，而比較像：建立一個能夠持續更新、公開衝突並允許撤回的委託關係。
十、因此，「對齊世界」與「對齊人類」不是競爭關係
最終的問題其實不應該是：
Should AI align with humanity or reality?
而應該是：
Which parts of an AI system should answer to reality, and which parts require human authorization?
答案可能是：信念應該盡可能對齊現實，預測應該對齊現實，因果模型應該對齊現實。但目標不應冒充現實，效用不應冒充物理。而代表誰、承擔什麼風險、什麼時候停止、什麼時候可以改變目標，必須來自可質疑、可修改、可撤銷的授權。
真正成熟的 AI alignment 也許可以濃縮成三句話：
Reality gets epistemic veto.
Humans get normative authorization.
Neither gets to impersonate the other.
世界擁有的是拒絕權。
它可以告訴我們：「你錯了。」「這做不到。」「這個因果關係不存在。」
但世界不替我們決定：「哪一種生活值得過。」
人類擁有的則不是真理的否決權，而是授權權。
我們沒有資格因為不喜歡某個事實，就要求模型把它改掉。
但我們有資格要求：什麼目標可以被追求，什麼風險不能被跨越，誰有權代表誰，以及什麼時候可以把授權收回。
真正需要的因此不是一個把人類、世界與價值壓進同一個 objective function 的「超級對齊」。
而是一套更誠實的分工：
讓世界約束我們相信什麼。
讓因果約束我們能做什麼。
讓價值決定我們想要什麼。
讓制度決定誰有權把「想要」變成行動。
這或許才是「對齊」真正應該開始的地方。
對齊世界，還是對齊人類？