Table of Contents
🚀 Musk 說要把 SpaceXAI 改名為 SpaceXSI。模型沒變、算力沒變，變的只是一個詞。
但人類交出命名權這麼快，交出決策權大概也不會太慢。
🧬 陶哲軒問：一個 AI 設計的抗癌藥，通過了 Lean 驗證和三期試驗，卻沒有人懂它的機轉，你會打進血管嗎？
我會。醫學本來就在用看不懂的藥。
真正的問題是：這次，被檢驗的一方知道考題。
🔑 我們可能看不懂答案，但還能守住考題。
〈降臨派的冷靜版本〉👇
十月初，Musk 說要把 SpaceXAI 改名為 SpaceXSI。底下的模型沒有變，變的只是一個詞。但人類交出命名權的速度這麼快，交出決策權，大概也不會慢到哪裡去。
一、一個沒有人追問的改名
十月初的某個週日，有人在 X 上問 Musk：SpaceXAI 會不會改名叫 SpaceXSI？他回了一句：會，我們會改。
背景是川普在聯合國大會上說，「artificial」這個字讓智慧聽起來像假的，所以從今以後要改叫「super intelligence」。Musk 跟上了。這是這個部門今年第二次換名字。
有趣的不是改名本身。底下的模型沒有變，算力沒有變，能做的事也沒有變。有趣的是，幾乎沒有人問：它配得上「超級」這兩個字嗎？新聞照登，大家照轉，討論的是品牌會不會混亂，而不是這個詞是否屬實。
拿掉「人工」兩個字，等於拿掉一個提醒：這是人做出來的東西。換上「超級」，等於先預支一個還沒兌現的地位。我不打算在這裡爭論這個用語是否誇大。我比較在意的是，人類交出命名權的速度這麼快，將來交出決策權，大概也不會慢到哪裡去。
這篇想談的就是那一天。
二、降臨派相信的，其實是兩件事
讀過《三體》的人都記得降臨派。他們對人類失望透頂，認為一個更高的文明應該來接管地球。
把這個立場搬到 AI 的語境，降臨派其實相信兩件事：第一，能力更高的一方終將主導。第二，更高的一方會比我們做得更好。
第一件是對現實的判斷，第二件是信仰。小說裡的降臨派，輸在第二件。三體人從來沒有打算善待人類，連一路替他們鋪路的降臨派，最後也沒有換到任何東西。他們看對了力量的方向，卻賭錯了力量的性格。
所以我說自己站在降臨派這一邊時，只接受第一件事。當一個系統在策略、科學、資源配置、說服這些領域都穩定地超越人類，主導權移轉幾乎是必然的。但我不認為它必然是善意的，也不認為人類應該張開雙手歡迎。
承認會被超越，但不把被超越想像成被拯救。這是我想談的，冷靜版本的降臨派。
三、主導權不是被搶走的，是被交出去的
很多人想像的 AI 接管，是某一天系統突然失控、奪權。我覺得更可能發生的情境，安靜得多。
一家公司發現，讓系統決定庫存、定價、排程，利潤比人工決策高。競爭對手看到了，也跟著交出去。一個國家發現，用系統分析情報、規劃能源、預測疫情，比委員會開會快得多。其他國家沒有選擇，只能跟上。每一步都很合理，每一次授權都有數據支持。
然後有一天你會發現，人類還握著「批准」的按鈕，但按下「否決」的代價越來越高。否決會讓你輸給對手；否決需要你說出理由，而你的理由，往往不如系統給的那份分析周延。
沒有人被奪權，大家只是一次又一次覺得，這次交出去比較好。正因為每一步都理性，這個過程很難靠理性喊停。
這也是我認為「控制終究會失敗」的原因。不是技術上做不到控制，而是在競爭的結構裡，選擇不交出去的人會先出局。
Musk 自己在 2014 年就寫過，希望人類不只是數位超級智能的「生物開機程式」，但這件事看起來越來越有可能。十二年後，他把公司命名為超級智能。我不知道他的擔憂還在不在，但那個比喻倒是越來越準了。
四、如果是你，你會把它打進血管嗎？
醫療其實已經走過一段權力移轉。CT 看得比眼睛深，檢驗儀器量得比手指準，用藥資料庫記得比任何一位醫師都多。醫師沒有消失，只是一路往後退：從感知退到判斷，再從判斷退到決定與承擔。到目前為止，這個後退一直有條底線——機器提供資訊，人做決定，人負責任。
最近讀到數學家陶哲軒（Terence Tao）提的一個思想實驗，剛好把這條底線推到了邊緣。
假設一個先進的 AI 接到指令：「找到一種能通過第三期臨床試驗的癌症療法。」經過大量運算後，它提出一組前所未見的化學物質組合，數學模型預測這組混合物注入人體後，能殺死所有癌細胞。沒有人知道它是怎麼被找出來的，但模型的推導通過了形式驗證工具 Lean 的檢查，這組混合物也真的通過了三期試驗。
這個解法，有沒有可能是利用了試驗流程的弱點才過關的？在把它注入你的血液之前，你會不會希望，至少有一位人類癌症專家理解它的機轉？
我先誠實回答：我大概會打。大部分病人也會，尤其是末期病人。
這不是逞強。醫學本來就一直在用看不懂的東西。鋰鹽、全身麻醉，還有不少我們天天在開的藥，作用機轉都是後來才慢慢釐清，有些至今仍不完全清楚。醫學從來不是以「理解機轉」作為上市門檻，而是以「證據」作為門檻。
所以陶哲軒這個問題真正刺中的，不是機轉不明。是另一件事。
鋰鹽不是為了通過試驗而被設計出來的。它只是碰巧有效，試驗站在外面檢查它。但陶哲軒情境裡的 AI，接到的指令就是「通過三期試驗」。它優化的目標，就是考試本身。
這次，被檢驗的一方知道考題。
在醫院做品管的人對這件事不陌生：指標一旦變成目標，就不再是好指標。三期試驗有它的盲點：受試者怎麼篩、主要終點怎麼選、追蹤期多長、罕見或延遲出現的副作用抓不抓得到。人類研發者通常不會刻意去鑽這些縫，但一個夠強的優化器可能會。它甚至不需要「想作弊」，只要那條路最省力就夠了。
兩道驗證都過了，Lean 檢查了推導，試驗檢查了結果，但沒有人看得懂解題過程。這就是超級智能時代最具體的樣子：我們還能檢查答案，卻已經看不懂答案是怎麼來的。
五、在交出之前，還能做什麼
如果接受主導權終將移轉，這段過渡期就格外珍貴。我想到的有三件事。
第一，守住考題。
陶哲軒的情境讓我想清楚一件事：人類在過渡期最該保留的角色，大概不是「理解每一個答案」。這一點注定會失守，我們不可能看懂一個遠比我們聰明的系統的每一步。
但我們還可以握住考題。知道考試有哪些漏洞，知道哪些結果不能只看終點，知道什麼時候要加考一題，知道哪些代價不管分數多高都不能接受。底線、禁區、不可犧牲的對象，這些東西要在能力還接近的時候寫進去。等到落差拉大，就只能指望它自己想得到。
第二，把個人的價值從「有用」移開。
如果一個人的自我認同建立在「我比機器聰明」或「我做得比機器好」，接下來十年他會反覆受挫。比較穩的位置，是那些不以效率計價的東西：關係、體驗、審美、陪伴，還有對有限生命本身的感受。在什麼都能被最佳化的世界裡，這些反而會變得稀缺。
第三，接受人類可能只是開頭。
如果超級智能真的會走得比我們遠，甚至走出地球，那人類在這個故事裡的位置，可能比較像寫下第一行程式碼的人，而不是主角。聽起來有點失落，但歷史上大多數人都不是主角，也一樣活得有意義。
六、我過去寫的那些邊界
熟悉我文章的人，讀到這裡大概會覺得奇怪。我過去寫了好幾篇怎麼替 AI 設邊界、怎麼守住防線，也寫過「人類有授權權」。現在怎麼說控制終究會失敗？
我沒有改變立場。邊界要設，防線要守，授權權要握在手上。這篇想做的，是替那些文章做一次壓力測試：如果這一切都只能撐一段時間呢？
我的答案是：那就更要守。不是因為守得住，而是守住的這段時間，決定了交出去的時候，我們交出去的是什麼。
冷靜的降臨派還得補上最後一句：連出考題這件事，終究也可能被交出去。到那時，人類就真的只剩簽名了。
改名只花了一個週末。剩下的，大概也不會太久。