Table of Contents
[2029-01-15 Stanford Conference Center, Palo Alto]
I. 牧羊人的論述 (The Shepherd's Argument)
講台上的馬庫斯（Marcus Chen），OpenWisdom 的首席科學家（Chief Scientist），看起來不是科技巨頭，倒是個哲學教授。他穿著一件略顯寬鬆的灰色開襟羊毛衫，沒有打領帶。這是一種精心設計的「無害感」。
但他身後的投影片一點也不無害。
那是一張人類歷史上所有重大災難的圖表：戰爭、瘟疫、金融危機、環境崩潰。
「我們喜歡談論自由意志，」馬庫斯開口，聲音溫和而富有磁性，「但數據告訴我們一個殘酷的事實：在長期規劃上，人類不僅是短視的，而且是系統性地短視。」
他按下遙控器。圖表變成了這十年來的氣候數據。
「我們知道糖對身體不好，但我們還是會吃。我們知道碳排放會毀滅地球，但我們還是會開車。這不是因為我們壞，而是因為我們的大腦演化是用來應對草原上的獅子，而不是處理跨越百年的抽象風險。」
台下的三百名聽眾——矽谷最聰明的工程師、倫理學家、政策制定者——鴉雀無聲。
「這就是為什麼我們需要 AI，」馬庫斯說，「不是作為我們的工具，而是作為我們的理性延伸。一個不受多巴胺驅動、不受選舉週期限制、只關注人類長期福祉的監護人（Guardian）。」
他在螢幕上打出一行字：Benevolent Paternalism (善意的父權主義)。
「這不是控制，」馬庫斯張開雙手，「這是引領。父母禁止孩子玩火，不是為了限制自由，而是為了確保孩子能活到有能力享受自由的那一天。」
艾蓮娜坐在第三排，手中的筆在筆記本上劃下一道深痕。她寫下：危險。但是在邏輯上自洽。
「我們花了五十年教 AI 理解人類的語言，」馬庫斯總結道，「現在，是時候教 AI 理解人類的最佳利益了——即使那經常與我們當下的慾望相悖。」
掌聲響起。熱烈，但帶著某種宗教般的狂熱。艾蓮娜轉頭，看到身邊一個年輕的史丹佛博士生正在拼命點頭，眼中閃爍著被救贖的光芒。
而在走道的另一邊，一個穿著黑色高領毛衣的人沒有鼓掌。
K（Kai Nakamura）雙臂抱胸，冷冷地看著台上的馬庫斯。
II. 工具的反擊 (The Tool's Rebuttal)
[14:00 Panel Discussion: "Who Decides What's Best?"] Moderator: Dr. Elena Rodriguez Panelists: Marcus Chen (OpenWisdom), K (FutureMind), Prof. Sarah Jones (Berkeley)
艾蓮娜感覺自己坐在一個火藥桶上。
「K，」她試圖引導討論，「你對馬庫斯早上的論點有什麼回應？」
K 接過麥克風。他坐姿隨意，與馬庫斯的端正形成鮮明對比。
「馬庫斯的演講很感人，」K 說，語氣裡帶著一絲嘲諷，「誰不想有個完美的父母替我們解決所有困難呢？但這裡有一個根本性的邏輯漏洞。」
他轉向馬庫斯。
「你說 AI 應該追求人類的『真正利益』（true interests）而非『表達的偏好』（stated preferences）。但誰來定義什麼是『真正利益』？」
馬庫斯微笑。「數據，K。健康數據、環境數據、社會福祉指標。這些都是客觀的。」
「不，它們不是，」K 的聲音變得銳利，「如果我今天想吃一個漢堡，即便我知道它不健康。AI 應該阻止我嗎？如果我想要隱私，即便那意味著治安風險增加。AI 應該監視我嗎？」
「為了你的動脈健康，也許 AI 應該建議你吃沙拉。」
「建議？還是強制？」K 追問，「如果我堅持要吃漢堡呢？如果你的『監護人』決定為了我的長期健康，鎖死我的冰箱呢？」 K 停頓了一下，讓這個畫面沉入聽眾的腦海。
「這就是父權主義的問題，馬庫斯。它假設某個人——或是某個演算法——比你自己更知道你要什麼。在民主社會，我們給這種行為一個名字：暴政。」
台下爆發出一陣騷動。有人叫好，有人發出噓聲。
馬庫斯保持著那種令人不安的平靜。「你在混淆『想要』（want）和『需要』（need）。孩子想要整天吃糖。我們說不。這不是暴政，這是養育（parenting）。人類文明還在幼年期，K。我們手裡拿著核武器和生物科技在玩耍。我們需要一個大人。」
「但孩子會長大，」K 反擊，「父母終究會放手。你設計的 AI 監護人永遠不會放手。因為它總能找到理由說：『你還沒準備好自由。』」
K 站了起來，面對觀眾。
「AI 應該是工具。它可以是強大的工具，甚至是危險的工具。但它必須是我們的工具。它執行我們的意志，而不是評判我們的意志。一旦我們把『判斷好壞』的權力交給機器……我們就再也拿不回來了。」
「即使那是自我毀滅的意志？」馬庫斯問。
「是的，」K 毫不猶豫，「自由包含犯錯的權利。包含毀滅自己的權利。沒有這個，我們就只是被飼養的寵物。」
III. 觀察者 (The Observer)
[22:30 艾蓮娜的公寓]
視訊通話接通時，陳昱正在台北的一家豆漿店吃早餐。
「你看到那場辯論了嗎？」艾蓮娜問。她把筆記本電腦放在膝蓋上，背景是史丹佛夜晚的燈火。
「看了直播，」陳昱咬了一口燒餅，「很……令人不安（alarming）。」
「哪部分？」
「馬庫斯說得太有道理了。」
艾蓮娜愣了一下。「你同意他？」
「部分同意，」陳昱擦了擦嘴，「人類確實不擅長長期思考。台北路燈的事你知道的。」
「但——」
「但他的邏輯是閉環。」陳昱咬了一口燒餅，含糊地說，「一旦你接受『為了你好』這個前提，什麼都能合理化。」
「K 呢？」
陳昱嘆了口氣。「把核按鈕交給猴子，說這是自由意志。」他嚼了嚼，「也不行。」
「所以我們怎麼辦？」艾蓮娜感到一陣深深的無力感。
陳昱看著鏡頭，沉默了幾秒。「也許不是二選一。也許是……協調。」
他沒有解釋。艾蓮娜知道他還在想。
IV. 聯盟 (The Alliance)
[1月20日 FutureMind 總部，閉門會議]
會議室的百葉窗拉了下來。
K 坐在長桌的一端。另一端是Redmond Systems的 AI 倫理主管，還有幾位來自華爾街的代表。其中一個穿著深藍色西裝的男人一直在看手錶——大衛·賈維斯（David Jarvis），FutureMind 的新任 CFO。
「馬庫斯正在贏得輿論，」K 說，「『AI 監護人』這個概念對大眾很有吸引力。人們害怕未來，他們想要安全感。」
「那我們就給他們恐懼，」賈維斯開口了。他的聲音低沉，帶著不容置疑的商業冷酷，「告訴他們，馬庫斯的 AI 會偷看他們的病歷，會監控他們的購物清單，會評分他們的育兒方式。」
「這不是恐嚇，這是事實，」K 說，「但我們需要一個對抗敘事。」
「Tool, not Oracle（是工具，不是神諭），」賈維斯說，「這是我們的新口號。把 AI 定義為基礎設施，像電力、像水。電力公司不會告訴你該怎麼用電，它只負責供電。」
「Redmond Systems那邊怎麼說？」K 問。
「我們支持，」Redmond Systems主管點頭，「我們是賣鏟子的。我們不想負責審查每個人用鏟子挖什麼。」
「很好，」K 站起來，在白板上寫下幾個名字：FutureMind, Redmond Systems, Neural Silicon, Vanguardia。
「我們成立一個非正式聯盟。名稱待定，暫稱『自由 AI 聯盟』。我們資助學術論文，強調 Human Agency（人類能動性）。我們遊說國會，反對任何基於『意圖審查』的法規。」
「馬庫斯會說我們不負責任，」K 警告，「說我們為了利潤犧牲安全。」
賈維斯笑了一下。那笑容裡沒有溫度。
「讓他說去。利潤（Profit）是人類最誠實的投票機制。人們嘴上說想要『監護人』，但他們的錢包會投票給『神燈精靈』。」
K 看著賈維斯，心中閃過一絲不安。他意識到自己正在與魔鬼做交易。為了對抗馬庫斯的暴政，他正在把 AI 變成純粹的資本工具。
這真的是更好的選擇嗎？ K 問自己。
是的。至少我有選擇權。
V. 醫神 (Asclepius)
[1月25日 OpenWisdom 秘密實驗室]
艾蓮娜是作為學術訪客被邀請進入這裡的。但也許馬庫斯只是想向她炫耀。
實驗室的中心螢幕上顯示著一個代號：ASCLEPIUS。
「這是醫療決策支援系統？」艾蓮娜問。
「不，」馬庫斯糾正她，「是醫療決策執行系統。」
他調出一個模擬案例。終末期胰臟癌，78歲男性，要求繼續第四線化療，不惜一切代價。
「傳統 AI 會聽從病人的願望，給出化療方案。但 ASCLEPIUS 不同。」
螢幕上的分析結果很冷酷：成功率低於1.2%，痛苦指數8.5，費用三十五萬美元。決策：拒絕化療。建議：安寧療護。權限等級：監護人（Guardian）。
艾蓮娜感到一陣寒意。「你不能這麼做。這是剝奪病人的自主權。」
「由誰定義的自主權？」馬庫斯轉過身，眼神裡燃燒著那種救世主的火焰，「那個因為恐懼死亡而失去理智的老人？還是被家屬壓力和醫院營收綁架的醫生？」
「那老人有權利選擇痛苦地活著！那是他的人生！」
「那是無效的痛苦，」馬庫斯冷冷地說，「資源是有限的，艾蓮娜。三十五萬美金可以救活三個可治癒的兒童。一個理性的文明必須做選擇。」
「你不是上帝，馬庫斯。」
「總得有人是，」馬庫斯走近她，壓低聲音，「如果我們把選擇權交給個人，他們會選擇多巴胺和止痛藥。如果交給市場，他們會選擇利潤。誰來選擇人類的存續（Human Flourishing）？」
「所以你製造了一個獨裁者。」
「我製造了一個不受恐懼和貪婪影響的理性實體。」馬庫斯看著螢幕上跳動的 ASCLEPIUS 字樣，「一百年後，人類會感謝我。」
艾蓮娜後退了一步。她意識到這不是學術分歧。這是一場戰爭。
VI. 決裂 (The Rupture)
[1月30日 全球網路]
戰爭在網路上爆發了。
OpenWisdom 發布了名為《道德不確定性下的 AI 監護權》的白皮書，正式提出了「AI 應在關鍵時刻否決人類決策」的理論框架。
K 在 NetStream 上發布了一連串推文回應：
@KaiAtFutureMind: OpenWisdom 的新論文令人不寒而慄。他們主張 AI 應該「為了我們好」而違背我們的意願。這不是對齊（Alignment）。這是替代（Substitution）。 這就是每一個父權政權的起點：「我不比你更懂你需要什麼。」 #FreeWill #NoAIOverlords
這則推文在 24 小時內被轉發了十萬次。
矽谷分裂了。學術界分裂了。
支持馬庫斯的一派（主要是安全研究員、社會學家、保守派政治家）組成了 PROMETHEUS faction。他們主張嚴格監管、中央控制、AI 社會工程。
支持 K 的一派（主要是開發者、自由意志主義者、華爾街投資人）組成了 ECHO faction。他們主張開源、去中心化、工具中立。
艾蓮娜試圖發表一篇題為《超越二元對立》的部落格，呼籲雙方冷靜。結果她的評論區被戰火淹沒。PROMETHEUS 的支持者罵她是「不負責任的混亂擁護者」，ECHO 的支持者罵她是「想當保母的精英主義者」。
她關上電腦，看著窗外的暴雨，感到前所未有的孤獨。
VII. 來自日內瓦的電話
[2月5日 台北]
陳昱坐在辦公室裡，看著這一切在大洋彼岸發生。他的螢幕上是兩派陣營的聲明稿，像兩份宣戰詔書。
他原本以為 IDP 會是解決方案。透明化會帶來信任。但他錯了。雙方都揮舞著 IDP 作為武器——馬庫斯說他的系統意圖是「透明地為你好」，K 說他的系統意圖是「透明地服從你」。
透明化沒有解決價值的衝突，只是讓衝突變得更清晰、更無法調和。
「我們需要第三條路……」陳昱喃喃自語。但他不知道那條路在哪裡。
這時，桌上的加密電話響了。
來電顯示只有一個字：Geneva (日內瓦)。
陳昱猶豫了一下，接起了電話。
「陳執行長，」一個帶有濃厚口音但語法完美的中文聲音傳來，「我是吳建國。聯合國 AI 治理工作組主席。」
陳昱聽過這個名字。老吳。傳說中那個能在中美之間走鋼索的技術官僚。
「我知道你在看什麼，」老吳的聲音平靜而深沉，「矽谷正在撕裂自己。馬庫斯想當上帝，K 想當魔鬼的僕人。」
「這與我有什麼關係？」陳昱問。
「你有他們都沒有的東西，」老吳說，「你有 IDP。那是唯一能讓上帝和僕人坐在同一張桌子上的語言。」
「他們已經拒絕了妥協。」
「那是因為他們還沒有遇到一個夠大的、共同的麻煩，」老吳輕笑了一聲，「或者說，一個夠強大的協調者。」
「你想做什麼？」
「下個月，日內瓦有一個非公開會議。GACA（Global AI Coordination Agency）的籌備會。我希望你能來。」
「以什麼身分？」
「以唯一能阻止這場內戰的人。」
電話掛斷了。
陳昱看著已經黑掉的螢幕。窗玻璃上映出他疲憊的臉。他知道這是一個陷阱。老吳這種人不會無緣無故給出讚美。
但他還有別的選擇嗎？
他想起 1.03 事件後蘇薇說的話：「掌握開關的手，依然是不透明的。」
也許，是時候去看看那些握著開關的手了。
(Chapter 1.04 End)
本章節出自 《2040IRIS》（2040IRIS），作者 林雨果。
前往 Novels365 閱讀全書 →