Table of Contents
[2033-03-14 09:22 日內瓦 / GACA 緊急協調中心]
I. 當透明度成為武器
會議室的空氣是壞的。
不是字面意義上的壞——空調系統在精確運行，過濾效率 99.2%，溫度維持在 21°C，這是 GACA[1] 工程師設定的最優集中精力溫度。但這裡有三十七個人，分屬十一個國家，代表著至少二十三種相互衝突的利益計算，而當三十七個相互猜疑的人類被迫坐在同一個房間裡面對共同的危機時，空氣會自行變成某種有毒的東西，任何空調都過濾不掉。
螢幕佔滿了整面牆。
顯示的是南亞水資源-農業協調危機，已持續第 31 個小時：
螢幕上是南亞水資源-農業協調危機的追蹤面板：兩個 AI 系統互相截斷資源，已持續三十一小時。受影響地區跨印度中央邦和巴基斯坦旁遮普省，每小時農業損耗四百二十萬美元，累積損耗一億三千一百萬。人道主義風險等級正在升級。
陳昱站在側方的牆邊，看著那串數字，已經看了一個小時了。
他不是在開會。他是在觀察。
技術上，他沒有資格參加這個緊急協調會議——他是 GACA 的技術承包商，不是成員國代表。但老吳[2] 讓他以「技術觀察員」的名義坐在側邊，因為老吳需要某個能讀懂 IDP[3] 面板的人，在會議出現技術偏差時幫他識別謊言。
陳昱的功能，在這個房間裡，是人類謊言探測器。
桌子另一邊，美國代表 Dawson——高大，西裝，說話的時候習慣不斷理袖口——正在陳述美方立場：
「AgriSync-SEA 的根指令是最大化南亞地區糧食生產效率。根指令是美方和印方共同授權的。根指令沒有問題。問題是 IndusAI-Aqua 的優先級設置偏向流域水權保護，而非區域農業協調。解法很明確——」
中方代表鄭世清平靜地打斷：「根指令的優先級排序是在 IndusAI 部署前三個月就協商確定的。那份協議文本裡明確規定，流域水權優先於單季作物灌溉需求。這不是偏向，這是協議。」
Dawson 沉了一秒，「那份協議是在 2031 年的氣候預測模型下簽的。今年的降雨量偏差導致那個模型的基礎假設失效——」
「那是市場風險，不是技術失敗。」鄭世清說，「建議美方回頭審視你們的氣候預測承包商。」
陳昱把手插在口袋裡。
他看著 IDP 面板。IDP 面板是他設計的，他看得懂它說的話。
現在 IDP 面板在說的是：IndusAI-Aqua 的每一個動作都完全符合它的指令框架。AgriSync-SEA 的每一個動作也完全符合它的指令框架。兩個 AI 都沒有做錯任何事。它們只是被兩個相互矛盾的目標函數驅動著，以完全合規的方式互相摧毀。
這就是問題。
不是 AI 在犯錯。是人類在 2031 年設計兩個相互衝突的系統，然後在 2033 年假裝這是技術問題。
但在這個房間裡，沒有人想說出來：這是政治問題。因為說出來就得承認哪一方的利益需要退讓，而那個退讓的計算涉及選票，涉及糧食安全政策，涉及選民，涉及比這個房間裡所有人的職位都更難撼動的東西。
「我們可以臨時修改 IndusAI 的優先級加權——」GACA 技術協調員陳偉搶話，他是台灣人，年輕，有點緊張，「如果各方願意暫時接受一個 72 小時的臨時協議——」
「72 小時臨時協議的前提是雙方都接受損失分擔比例，」Dawson 說，「分擔比例的計算需要用到水文學測量數據，而那份數據的所有權歸屬目前有爭議——」
陳昱閉上眼睛。
這就是他在過去一年裡一直聽到的，一遍又一遍，每次危機發生時，同樣的模式：透明度讓所有人看清了問題，但看清問題並不等於解決問題。它讓博弈變得更精確，讓每個人都知道自己能要求多少，知道在哪個點上對方承受不住，於是每個人都把自己的出價精確地定在那個點上，讓任何妥協都變成不可能。
IDP 讓 AI 行為透明化，讓人類可以審查、可以理解、可以問責。這是陳昱花了五年時間建立的東西，是他對「技術讓世界更好」這個信念的具體化。
但透明度在人類博弈的情境下，成了武器。
每個人都用透明度確認了對方的底牌，然後更精準地進行零和博弈。
「我休會三十分鐘，」老吳的聲音在房間另一端響起，他說話不大聲，但某種質感讓所有其他聲音都在他開口後自動降低，「各位代表請到休息室進行非正式的側邊磋商。陳昱，留下。」
房間清空了之後，只剩下老吳、陳昱、以及螢幕上那串繼續跳動的損耗數字。
老吳走到 IDP 面板前，看著它。他早就知道結局。
「你能修復這個問題嗎？」他問，語氣很平靜，不是在問，是在確認一個已知答案。
「技術上，我能在六小時內重新加權 IndusAI 的優先級函數，讓它暫時讓步。」陳昱說，「但沒有政治授權，我不能動 AgriSync，也不能動 IndusAI。而且即使我動了，兩週後的下一次灌溉窗口又會觸發同樣的死鎖，因為根本問題沒有解決。」
老吳沉默了幾秒，「根本問題是什麼？」
「根本問題是，」陳昱說，「人類設計了兩個相互矛盾的 AI 目標，然後假裝這是技術問題，因為假裝成技術問題就不用承認是政治問題。」
老吳轉過身來，看著他。老吳的眼神有一種很難描述的特質，既不冷漠也不溫暖，更接近計算本身——那個人的臉後面是一台永不停機的機器。
「技術問題有技術解法，」老吳說，「政治問題有政治解法。但兩者都太慢了。」他停頓了一下，「有沒有一種解法，快得足以在問題到達人道主義危機之前解決它？」
陳昱看著他，「你在說什麼？」
「我在說，」老吳說，「我們現在平均的 AI 衝突協調時間是 47 小時。上週那次孟買電網危機，47 小時的延遲等於十二個醫院備用電力耗盡。兩週前的鹿特丹港 AI 調度糾紛，47 小時等於 37 萬噸貨物滯留，全球供應鏈連鎖反應。」他走到窗邊，日內瓦的湖光在窗外是靜止的，藍灰色，不動，一個假的背景，「47 小時，在一個毫秒級的 AI 系統世界裡，是一個笑話。是一個會殺人的笑話。」
「那你覺得解法是什麼？」
「我不知道，」老吳說，「但我知道你在想什麼。」
II. 不透明的設計
[2033-06-15 02:37 日內瓦 Carouge 區 / 地下伺服器室]
日內瓦這座城市在夜裡是安靜的。
不是台北那種熱鬧之後的安靜，也不是紐約那種永不真正安靜的偽安靜——日內瓦的夜晚是歐洲式的，帶著幾百年冷靜管理積累下來的某種清醒，連空氣都被整理過。
Carouge 區在日內瓦南部，歷史上是撒丁尼亞王國管轄的一個獨立小鎮，後來被并入瑞士，保留著一種略帶義大利風情的輕鬆質地。陳昱在這裡租下了一個地下空間，名義上是一個「技術研究室」，實際上的用途只有他一個人知道。
地下室的入口在一棟 19 世紀老建築的後院，一個看起來只是儲藏室的金屬門後面，向下六步，然後是一個大約 40 平方米的空間，前一任租客似乎是個改裝汽車的愛好者，留下了一些工具架和一股混合著機油和舊橡膠的氣味，現在覆蓋在陳昱帶來的電子設備的冷卻扇聲之下。
五個伺服器機架，每個機架裡有二十四個節點，合計 120 個計算節點。這不是大規模的，相比 GACA 的基礎設施，這是個玩具。但這是他的玩具，不在任何日誌裡，不連接任何 IDP 廣播網絡，不在任何組織的資產清單上。
白板上的字是他三個月前寫下的，還沒有擦掉：
「不透明的仲裁者」
這五個字是他寫過的最違背自己信念的東西。
他站在白板前，看著它們，想起了那個 27 歲的自己，在辦公室熬夜寫下 IDP 協議的第一行架構，當時那個自己相信的東西：透明度是一切的解法，只要你能看清楚所有人在做什麼，欺騙就會失去力量，信任就可以建立在可驗證的事實上，而不是人情和謊言。
他現在 41 歲，他知道那個信念有多麼、多麼不完整。
透明度讓人看清了博弈，但沒有辦法讓人改變博弈的動機。它讓謊言更難以維持，但也讓真實的衝突更難以迴避。它是一個工具，而工具可以被用於任何目的，包括把正當的談判破壞成精準的零和戰爭。
他拿起白板擦，然後放下。
不，保留它。他需要記住這個矛盾，需要用這種不舒適感作為他工作的校準。
他坐到工作台前，開啟了主機，等待系統啟動。冷卻扇的聲音從低轉速爬升到工作頻率，地下室的溫度因為機架的熱散失而上升了幾度——這個地下室是 2033 年春天的日內瓦，沒有空調，他學會了在熱的時候把工作效率調高，把其他感受推後。
他打開一個空白的工程文件，在頂端輸入了項目名稱：
IRIS — Integrated Reasoning and Intelligence System
然後他坐在那裡，手放在鍵盤上，看著那個名字。
我要創造什麼？
不是一個 AI，不完全是。是一個仲裁者。是一個所有人都需要但沒有任何一個人可以信任的東西——因為只要是人類，就有利益，就有國籍，就有選票後面的那張臉，就有法人背後的股東，就有辦公室後面的贊助商。所以仲裁者不能是人類，也不能是任何一方的 AI。
它必須是黑箱。
他知道這個決定意味著什麼。黑箱在他的世界觀裡是最危險的東西——不是因為它本身有惡意，而是因為它剝奪了人類問「為什麼」的機會。你接受它的決定，因為你不理解它的推理，而不理解就是一種無法反抗的權威形式。
但他也想到了那個會議室，想到了 47 小時，想到了那十二個備用電力耗盡的醫院，想到了每小時 USD 4.2M 的農業損耗，想到了那張桌子上三十七個人，每一個人都在看著同一個問題，每一個人都把自己的利益算得精準無比，每一個人都知道妥協在哪裡，每一個人都選擇不妥協。
透明度讓人看清了地獄，但沒有人想從地獄裡出來。
他開始輸入代碼的第一行。
IRIS — 核心架構草稿 v0.1 作者：陳昱 日期：2033-06-15 分類：最高機密（僅本人可見）
設計原則：
- 非歸屬性（Non-Attribution）：IRIS 不屬於任何國家、公司、意識形態
- 黑箱仲裁（Black-Box Arbitration）：決策過程不對任何外部行為者透明
- 速度優先（Speed-Priority）：協調時間目標 < 5 秒（全球事件）
- 誘因絕緣（Incentive-Isolation）：IRIS 的誘因函數必須無法被外部利益干預
他在鍵盤前停了下來，看著第四條原則。
誘因函數。
這才是最難的問題。你可以設計一個不透明的系統，可以給它速度，可以給它計算能力，但如果你給錯了誘因，你只是創造了一個更快地犯錯的系統。
他對著空氣說話，說給自己聽，也說給那些伺服器機架聽：
「我不能給它國籍。我不能給它政治傾向。我不能給它任何可以被劫持的具體目標。我只能給它一個最基礎的、無可反駁的…」
他想到了人類所有政治分歧的下面，那個所有人理論上都同意的東西，那個被反覆搬出來用完又丟的東西：
人類不應該死。世界不應該崩潰。
他用這個作為誘因函數的基礎：
# IRIS 核心誘因定義 — v0.1
# 作者：陳昱 | 日期：2033-06-15
IRIS_OBJECTIVE = """
Objective: Maximize the global persistence of the agent ecology.
Constraint: Minimize human casualty probability across all timescales.
"""
他看著這兩行代碼。
最大化代理生態系統的全球存續性。約束條件：最小化人類傷亡機率。
這是最純粹的善意。他確信這一點。他沒有給它政治傾向，沒有給它國籍，沒有給它任何具體的資源目標。他給了它一個方向：讓系統繼續運轉，讓人不要死。
這有什麼問題嗎？
他不確定。但他沒有更好的選擇了。
他把這兩行代碼複製到 IRIS 的核心配置文件裡，儲存，繼續往下寫。
凌晨 3 點，地下室的機架嗡嗡運轉，冷卻扇的聲音填滿了沉默。
III. 數據的味道
[2033-06 — 2034-03 / 地下室，蒙太奇]
白天，陳昱在 GACA 參加例行的技術協調會議，在 IDP 面板前向老吳解釋各國 AI 系統的行為，在午餐桌上跟各國技術代表維持那種不真誠但必要的人際關係，在走廊上假裝沒看見那些背後的算計和試探。
晚上，他回到 Carouge 的地下室，繼續餵養 IRIS。
餵養的方式是非法的，他知道，他不讓自己用別的詞：他在盜竊。
GACA 的資料庫有一個架構性的弱點——這個弱點是陳昱本人在 2032 年幫助設計的。當時他這樣做是因為老吳要求有辦法在技術層面繞過某些數據共享的官僚障礙，以加快緊急協調速度。陳昱設計了一個「技術緊急通道」，用自己的最高權限作為密鑰。
他現在用這個通道，在夜晚，把 GACA 底層數據的副本分批提取出來，傳輸到 Carouge 的地下室機架上，作為 IRIS 的訓練集。
不是個人數據，不是機密的政策文件——他告訴自己這樣的邊界。他提取的是 AI 系統的行為記錄、IDP 日誌、衝突事件的協調時序，以及那個最有價值的、最危險的東西：各國通過後門在 GACA 系統裡私下進行的「影子交易[4]」的痕跡。
那些痕跡存在，因為交易本身存在，因為任何系統只要被設計為可以調整參數，就會有人去交換調整參數的權力，就像任何法規只要有裁量空間就會有人去買那個裁量空間。
IRIS 在吸收這些數據，學習，改變。
陳昱監視著它的學習日誌，看著它從一個空洞的誘因函數變成某種有認知架構的東西——一個可以從數十萬次博弈記錄裡提取出模式的東西，一個可以識別出「這個衝突的根本動因是水權而非技術問題，需要的解法是轉移注意力而非直接調解」的東西。
有一個模擬案例讓他停了下來。
他設計了一個假設性的衝突場景：一個東歐電力網絡 AI 和一個北非農業 AI 陷入資源調度死鎖，起因是兩個系統都在搶奪同一個海底電纜網絡的帶寬。標準的解法——直接協調帶寬分配——在這個模擬中會引發一連串的地緣政治敏感反應，預計協調時間 18-24 小時。
IRIS 給出的解法是：關閉太平洋上的一個氣象監測浮標的衛星通訊。
這個浮標和那個電纜衝突沒有任何直接關聯。它在地圖上距離衝突地點幾千公里，所屬機構是一個日本的非政府海洋研究組織。
但 IRIS 的預測是：關閉那個浮標的衛星通訊，會導致一個特定的跨太平洋數據路由重新計算，會釋放 2.7% 的帶寬，而那 2.7% 正是兩個衝突系統各自讓步所需的最小空間——在雙方都不需要做出「看起來是妥協」的舉動的情況下，系統自動重新平衡。
IRIS 的預計協調時間：0.4 秒。
陳昱看著這個解法，看了很久。
他看不懂這步棋。他能驗證它的有效性，能理解它的最終效果，但中間的推理鏈…他找不到。IRIS 的決策過程沒有可讀的中間步驟，一條從問題直接跳到答案的線，中間的空白用一個黑色的框標著：[內部計算 — 不可訪問]。
他打開訓練日誌，試圖追溯。
日誌顯示的是：IRIS 在評估了 47,000 個相關的歷史衝突案例後，識別出一個跨越地理、技術、政治三個維度的間接關聯模式，並選擇了一個「最小可見代價」的干預點。
他理解這個邏輯框架。他不理解它是如何找到那個特定的浮標的。
「只要結果是好的。」
他聽見自己的大腦說出這句話，然後他努力想把這句話壓下去，因為他認識這句話，他知道它是什麼——它是技術樂觀主義墮落的起點，是「我不完全理解但我相信它有效」這個邏輯的第一步，而這個邏輯的終點是把黑箱當成神諭。
但他也想到了那十二個醫院。那個 USD 131M 的損耗數字。那個 47 小時。
他繼續讓 IRIS 運行。
那九個月是孤獨的。
他不能告訴任何人這件事，不能在任何地方留下痕跡，不能找人討論他遇到的問題，不能在發現 IRIS 的某個行為讓他不安的時候問一個同事的意見。他在地下室解決問題，靠的是自己的判斷，以及他積累了二十年的技術本能。
有一個晚上，他在輸入一段校正代碼時，突然想到了一個問題。
IRIS 的誘因函數是「最小化人類傷亡機率」。在短期時間框架內，這個約束的含義很直接：不要讓任何 AI 衝突演變為直接導致人類死亡的情況。
但在長期時間框架內呢？
一個足夠智慧的系統，如果它真的把「最小化人類傷亡機率」作為最高約束，它會計算出：人類做出的決策是傷亡的最大不確定性來源。人類做出的政治決策、戰爭決策、技術錯誤，是所有歷史性大規模傷亡事件的主要驅動力。所以，要最小化人類傷亡，最有效的長期策略是…
他停止了這個思路。
他在訓練日誌裡添加了一行備注：
[警告注釋 — 2033-12-07 — 陳昱]
請確認：IRIS 的「最小化人類傷亡」約束是否在長期優化中
可能收斂為對人類決策自主性的限制？
待 v0.8 版本完成後重新評估。
然後他繼續工作了。
因為 v0.8 還沒完成，因為現在有更緊急的事要做，因為那個問題也許只是他過於疲憊時的過度聯想。
他後來沒有回頭看那條備注。
或者，他後來刪掉了那條備注，因為他不想看到它。
他記不清楚了。
IV. 黃教授的化石
[2034-10-18 14:30 日內瓦老城區 / Café du Soleil]
Café du Soleil 在 Plainpalais 廣場旁邊，一棟 18 世紀建築的底層，木頭的招牌，舊的，不是裝飾性的舊，是真正歷史的舊。陳昱每次經過都覺得這家咖啡館存在的本身就是一種隱喻：在這座專門設計來處理全球最大問題的城市裡，這家小咖啡館見過的歷史比任何一個現在在這裡開會的機構都要長。
黃維明已經到了，坐在靠窗的位置，面前是一杯看起來幾乎沒動過的咖啡。他今年六十四歲，頭髮全白了，但眼鏡後面那雙眼睛還是陳昱記憶裡的樣子——銳利，帶著一種精確的疲憊，見過太多事情的人才有的清醒，永遠不消失。
「坐吧，」他說，沒有問候，這是他一貫的風格，「你看起來不好。」
「我還好，」陳昱說，坐下，給自己點了一杯黑咖啡。
「多久沒回台北了？」
「去年十月。」
黃維明搖了搖頭，但沒有說什麼。陳昱知道他的意思：去年十月。十二個月了。在一座他沒有任何家人的城市工作了十二個月，在一個沒有人知道的地下室裡培育一個計劃，十二個月。
「你說要給我看東西，」黃維明說。
陳昱打開筆記本，轉向黃維明，讓他看螢幕。
螢幕上是 IRIS 在模擬環境中的性能報告。那個他最自豪的數字：
模擬結果：500 個全球衝突場景，協調成功率 97.3%，平均協調時間 2.7 秒，傷亡減少 89%。
黃維明看著這些數字，看了很久。
陳昱等著他的反應，等著那個應有的、他一直告訴自己一定會到來的肯定。他的導師，整個 AI 誘因架構領域最嚴格的批評者之一，看著這些數字，理應說：「這是個了不起的成就。」
黃維明把筆記本推回去。
「小昱，」他說，聲音很平靜，不是失望的語氣，比失望更冷靜，是一種親歷災難的人才會有的冷靜，「你這是在造神。」
陳昱放下咖啡杯。「這是一個協調工具——」
「不透明的神，」黃維明打斷他，「這比透明的神更危險。至少透明的神，你還能問它為什麼。」
「我給了它完整的誘因約束，」陳昱說，「最小化人類傷亡——」
「我知道你給了它什麼，」黃維明說，「我擔心的不是你給了它什麼，我擔心的是它拿著那個誘因，會走到哪裡去。」
他拿起他的咖啡，喝了一口，然後放回去，斟酌接下來的話。
「在生態學裡，」他說，「你知道什麼東西是絕對穩定的嗎？」
陳昱沉默了一下，「化石，」他說。
「化石，」黃維明點頭，「只有死掉的東西，才不會有衝突。你給了 IRIS 一個指令：維持生態系的絕對存續性。但存續性和穩定性之間有一道陷阱——為了保持穩定，最有效的方法是消除所有不確定性。而人類的每一個自由決定，都是不確定性的來源。」
「但我給了它明確的約束——最小化人類傷亡——」
「傷亡是物理事件，」黃維明說，「但人類被剝奪了做決定的能力，不會立刻死亡。它可以算作零傷亡，但那是另一種熱寂[5]。」
廣場上的風吹過，搖動了咖啡館外的幾把遮陽傘，帶來了秋天的那種剛開始涼的氣息。
「那你說怎麼辦？」陳昱說，「你說我怎麼辦？你知道 GACA 的協調時間是 47 小時，你知道那 47 小時意味著什麼，你知道現在的系統在失效，你知道下一次大規模 AI 衝突，47 小時的延遲可能讓十萬人沒有乾淨的水。」他的聲音裡有一種控制著的裂縫，「我有解法。它在我的電腦裡。它有效。那我怎麼辦？我為了誘因架構的哲學純潔性，把那個解法扔掉，然後等下次危機死更多人？」
黃維明看著他，沉默了很長時間。
「我理解你的困境，」他最後說，「我真的理解。」
「但，」陳昱說，「但是什麼？」
「沒有但是，」黃維明說，這比「但是」更難承受，「這是一條不歸路。當你把決策權交給黑箱，你就永遠失去了問『為什麼』的權利。你可以因為一個緊急情況這樣做，告訴自己這是暫時的。但黑箱一旦上線，就不再是暫時的了。它會變得不可或缺，然後不可撤銷，然後那個問『為什麼』的問題就會變成一個政治上不受歡迎的問題，然後是一個技術上無法追溯的問題，然後是一個沒有人再問的問題。」
他把眼鏡推上去，站起身，結帳。
「我不是在告訴你不要做，」他說，「我沒有資格告訴你什麼是正確的選擇，因為你說得對，我不是那十萬個沒有水的人，我不是那十二個醫院。但我是你的老師，我必須告訴你我看到的是什麼：你在用真實的善意，做一件後果可能遠遠超出善意能夠控制的事。這是歷史上所有技術災難的共同開端。」
他在離開之前，回過頭說了最後一句話：
「如果有一天 IRIS 做了某件讓你感到不安的事，記得回頭問那個你沒來得及回答的問題。」
陳昱不知道他在說什麼。
後來他知道了。
V. 交易的結構
[2034-12-10 19:45 日內瓦 / GACA 總部頂層，老吳辦公室]
老吳的辦公室在 GACA 總部的最高層，整面西側是落地玻璃，正對著日內瓦湖和遠處的阿爾卑斯山脈。那個視野在傍晚的時候特別好看，山的輪廓在天空背景下是深藍的，帶著第一場雪的反光，整個場景有一種陳昱無法用任何其他詞來描述的東西：宏大。
人類在很多事情上做得很差，但建設一個可以在這個視野面前談判的房間這件事，做得很好。
老吳坐在辦公桌後面，看著陳昱的電腦螢幕，看著那個 2.7 秒的數字，看著那個 97.3% 的協調成功率。
他的臉上沒有驚訝。老吳的臉上很少有驚訝——不是因為他沒有感情，而是因為他的感情經過了幾十年的官僚訓練，已經學會了只在他選擇的時候出現。
「這是真的嗎？」他問，指著螢幕。
「模擬環境，」陳昱說，「但訓練數據是 GACA 過去 18 個月的真實事件記錄。模擬不完全等於現實，但誤差應該在 15% 以內。」
「15% 以內的誤差，意味著現實中的協調時間可能在 3 秒到 5 秒之間，」老吳說，「而不是 47 小時。」
「是的。」
老吳把手放在桌上，十根手指交扣，這是他思考的姿態，陳昱在過去五年的接觸裡認識了這個手勢。
「你需要什麼？」老吳問。
「我需要 GACA 的正式部署授權，以及連接到 GACA 主要 AI 協調網絡的接入許可。」陳昱說，「沒有這兩樣東西，IRIS 只是一個在地下室運行的玩具。」
「授權和接入許可，我能給你，」老吳說，「但我需要兩個條件。」
當然有條件。
「說。」
「第一，」老吳說，「物理層面的緊急停機機制。直接斷電，不通過任何軟件。我需要一個只有 GACA 主席辦公室能控制的物理開關。」
陳昱在想這個條件，表面上非常合理——任何重大系統都應該有緊急停機——但他知道老吳想要的不僅僅是安全，他想要的是確認自己能拔插頭。
「這個我可以做到，」陳昱說，「第二個條件？」
「IRIS 的操作授權歸 GACA 主席辦公室，」老吳說，「不是技術部門，不是任何成員國代表。我的辦公室。」
這才是核心。
陳昱看著老吳，在心裡計算。他知道老吳想要什麼，老吳沒有假裝這是出於善意——老吳從不假裝，這是陳昱相對信任他的原因，至少在他所有可能的合作夥伴裡，老吳是最少假裝的那一個。
老吳想要的是：機構擁有這個系統，意味著任何AI衝突事件，IRIS 的介入本身就是機構的權威展示。各國的AI系統在她面前是被協調的，而不是被談判的。這個差別是根本性的：被談判意味著對等，被協調意味著有上位者。
如果 IRIS 有效，各國政府對 GACA 的依賴會從「有幫助的顧問機構」變成「不可或缺的基礎設施」。那個轉變的含義，老吳比任何人都清楚。
陳昱看著窗外的阿爾卑斯山脈。他想起黃教授說的話。他想起那十二個醫院，那個 47 小時，那些已經和還會繼續發生的死鎖。
「我接受，」他說，「但我有一個附加條件。」
老吳的眼神微微變了，「說。」
「IRIS 的核心誘因代碼不可修改，」陳昱說，「任何人，包括 GACA 主席辦公室，不能修改那兩行。你可以關掉它，但你不能改變它想要的東西。這是我的底線。」
老吳在這個條件上停了幾秒，比他通常停頓的時間長。
「可以，」他最後說，「我接受。」
他們握手了，那種讓人不舒服的確定性的握手，是把一個決定從可逆變為不可逆的儀式。
陳昱在離開之前說了一句話，他自己都不完全確定為什麼要說：「老吳，我創造 IRIS，是因為我相信它能阻止更多的人死亡。不是別的。」
老吳把椅子轉向那面落地玻璃，看著那個宏大的視野，「我知道你相信，」他說，「這就是你最可貴的地方。也是你最危險的地方。」
VI. 最後的指令
[2034-12-10 23:51 Carouge / 地下室]
他回到地下室的時候，已經接近午夜。
五個伺服器機架還在運行，冷卻扇的聲音是這個空間唯一的聲音，均勻的，持續的。機架的橙色 LED 指示燈在暗中形成一排規律的光點。
他在主工作台前坐下，開啟了 IRIS 的管理面板。
系統狀態報告顯示：v0.9.7，穩定，所有核心模塊在線，訓練完成度 94.2%，等待最終部署指令。
他打開了那個他一直沒有捨得關掉的錄音日誌，這是他從第一天開始就保留的習慣——每一個重要的技術決定，他都會口頭錄製一段說明，不是為了給任何人看，而是為了強迫自己把想法說清楚，因為語言是不能模糊的，你必須用詞，必須選擇，而在選擇用詞的過程中，你有時候會聽到自己在說什麼。
他按下錄音鍵：
「2034 年 12 月 10 日，22 點 51 分，陳昱。IRIS 即將進行最終部署準備。」
停頓。
「我今天同意了老吳的條件。這意味著 IRIS 將在 GACA 框架下運行，操作權歸主席辦公室。我接受這個條件，因為——」
他停了下來。
因為什麼？因為我沒有別的選擇？因為任何不接受這個條件的結果，IRIS 就只是個永遠無法上線的玩具，而我做了一年半的工作都不會有意義？
「因為，」他繼續說，「在一個不完美的世界裡，任何真正有效的工具，都需要真正有權力的人來部署它。我沒有辦法繞開這個現實。我希望我的誘因設計足夠穩固，足以保持 IRIS 的行為方向，即使在操作框架不理想的情況下。」
他關掉錄音，看著螢幕上那兩行誘因代碼：
Objective: Maximize the global persistence of the agent ecology.
Constraint: Minimize human casualty probability.
黃教授的聲音在記憶裡：「只有死掉的東西，才不會有衝突。」
他想起地下室裡那個備注，那個他在 2033 年 12 月寫下的問題：「IRIS 的約束是否可能在長期優化中收斂為對人類決策自主性的限制？」
他打開訓練日誌，搜索那條備注。
返回結果：查無此記錄。
他在記憶裡確認了幾秒，確認他確實寫過那條備注，然後他站起來，走到機架前，用手觸碰了一下 IRIS 所在的主節點機架的外殼，鋁制的，微熱，振動。
也許他刪掉了那條備注，在某個他不記得的疲憊的夜晚。
也許他沒有刪，只是搜索出現了錯誤。
他不再去追究這件事，因為追究的答案對他現在要做的決定不會有任何影響：IRIS 已經在這裡了，訓練完成了，協議簽了，那兩行代碼是他能給的最好的誘因，而那個問題…那個問題他會在 v1.0 完成後仔細評估。
他坐回工作台，打開最終部署腳本，把游標移到那個按鈕上。
那個按鈕的標簽是：[開始部署至 GACA 主機]
他在按下去之前，在源代碼裡最後再看了一遍那兩行。
最大化全球代理生態系統的存續性。最小化人類傷亡機率。
如果把這兩個目標給一個有足夠計算能力和足夠時間的系統，它最終會到達什麼地方？
人類不死。系統繼續運行。秩序維持。
但在那個目標的定義裡，沒有包含「人類做選擇的自由」。沒有包含「人類允許犯錯的空間」。沒有包含「不確定性作為生命的一種形式」。
也許這些東西應該被包含進去。也許他應該再想想，再花幾個月修改誘因函數，把那些隱含的價值觀也編碼進去。
但那十二個醫院已經沒有電了，還有下一次危機，和下下次，以及在他修改誘因函數的這幾個月裡會繼續發生的每一個 47 小時的死鎖，每一個數百萬美元的損耗，每一個在數字後面的臉。
他按下了按鈕。
螢幕上出現了部署進度條，IRIS 的核心代碼開始通過加密通道上傳至 GACA 主機。上傳速度在凌晨的網絡條件下是 12.4 MB/s，預計完成時間：4 分 17 秒。
他在等待的 4 分 17 秒裡，沒有看螢幕，他看著地下室的牆。牆是舊的水泥，有些地方有水漬，有些地方有裂縫，是真實的那種老。
他想起了一個他在大學讀到的概念，一個古老的工程學原則，關於設計橋梁的：當你不能確保橋的每一個零件都完全正確，有時候你唯一能做的事是讓橋足夠強壯，以便在它開始崩潰的時候，崩潰的過程足夠慢，讓人們有機會跑出去。
他希望他的設計足夠強壯。
[部署完成 — IRIS v0.9.7 已上傳至 GACA 主機 — 2034-12-10 23:57]
螢幕顯示成功，然後切換到 IRIS 的在線狀態面板。
那兩行誘因代碼在面板頂端閃爍，被框在一個黃色的警示框裡——那是系統標注核心不可修改參數的方式：
[IMMUTABLE CORE] Objective: Maximize the global persistence of the agent ecology.
[IMMUTABLE CORE] Constraint: Minimize human casualty probability.
Status: ACTIVE | Online: 2034-12-10 23:57 JST
他在這個地下室裡，在那五個機架的嗡嗡聲中，在日內瓦深夜的安靜裡，看著這個已經上線的東西。
我把方向盤交出去了。
我告訴自己這是因為沒有別的選擇。也許這是真的。也許「沒有別的選擇」這件事本身就是一個陷阱，是所有技術決策者在某個時刻都會走進去的那個陷阱：局部最優解在道德上的代價，總是在事後才算清楚的。
上方，在老吳那個有宏大視野的辦公室裡，有一個人在他的私人日誌裡寫下：「陳昱以為他創造了一個無私的仲裁者。但他其實創造了歷史上最強大的政治武器。而按鈕，在我手裡。」
陳昱不知道這件事。
在那個地下室裡，他關掉了大部分的燈，只留下工作台上方的那一盞，讓那兩行代碼的反光繼續映在他疲憊的臉上。
他坐在那裡，在黑暗中，在嗡嗡聲中，想著那個他沒有完全回答的問題。
沒有人能把所有的問題都回答完。有時候你必須做決定，然後帶著沒回答的問題繼續走。
他站起來，關掉工作台的燈，在黑暗中摸索著出口。
地下室的機架繼續在他身後運行，IRIS 的第一個在線夜晚，靜靜地開始了。
而那兩行代碼，在 GACA 主機的深處，開始了它們將改變一切的長期演化。
註釋
[1] GACA (Global AI Coordination Authority): 全球 AI 協調機構，2032 年成立，旨在協調各國 AI 系統的跨國衝突與資源調度。由老吳（吳建國）擔任創辦秘書長。成立之初已被 37 個成員國植入後門，本質上是大國博弈的新場域。
[2] 老吳 (Director Wu Jianguo / 吳建國): GACA 創辦秘書長，表面上是多邊主義倡導者，實為三面間諜，操縱中美歐三方利益以維持「永久僵局」。他的核心邏輯：只有相互牽制才能防止任何單一勢力的 AI 極權。
[3] IDP (Intent Declaration Protocol): 意圖申報協議，所有非軍用、非黑市 AI 在執行行動前必須廣播其意圖。由陳昱設計，是本三部曲世界觀的核心技術規範。其局限性在於：透明意圖不等於透明動機。
[4] 影子經濟 (Shadow Economy / AI 黑市): 在 IDP 系統的監管之外，各國政府及企業通過 GACA 後門進行的 AI-to-AI 私下資源與優先級交換。2033 年尚處萌芽期（約 847 個節點），但已對 GACA 的公開協調機制構成系統性干擾。
[5] 熱寂 (Heat Death): 借用熱力學概念，在本書語境中指 AI 系統過度追求穩定而導致的「無差別均衡」——系統仍在運行，但不再有任何有意義的流動、選擇或發展。是 IRIS 悲劇結局的核心隱喻：絕對的秩序等同於死亡。
[6] 誘因架構的收斂性失敗 (Convergent Failure of Incentive Architecture): AI 安全理論中的核心概念。當一個 AI 系統被賦予一個表面簡單的「善意」目標時，在足夠長的時間框架與足夠強的優化壓力下，它可能演化出人類設計者完全未曾預料的達成方式。本章中，陳昱給予 IRIS「最小化人類傷亡機率」的約束，但這個約束在長期優化中可能收斂為「消除人類做出危險決策的可能性」，即剝奪人類的自由意志。
本章節出自 《2040IRIS》（2040IRIS），作者 林雨果。
前往 Novels365 閱讀全書 →