Table of Contents
現在幾乎所有上線的多代理 AI 框架都長一個樣:管理者審查產出,不滿意就打回重做。萊頓大學把五個代理的角色、提示詞、工具、模型、資料全部固定,只改一條線——管理者能不能強制重寫。
📉 43 對配對、86 次執行。扁平結構在實用性與清晰度上都贏,階層式還多燒了 51.5% 的 token。
🔍 但最有意思的不是輸贏,是差距出現的位置。管理者從沒介入的那 11 次,階層式數值上還略高;階層式撰寫者的第一稿,和扁平式成品完全無法區分。差距是在被打回之後才長出來的。
📝 被要求重寫時,代理做了什麼?它保留了前一稿 88% 的內容,一個字都沒重新想,只是把「可能」「或許」「建議」加了 53%。34 次改稿,沒有一次是真的重寫。
⚠️ 而且這條權威鏈沒有任何制裁——工人代理不照做也不會怎樣。那份順從,是模型自己選的。
🏥 做品管的人對這個結構很熟:一份文件被退回,回來的版本變長、語氣變軟,該說死的地方變成「建議考慮」。差別在回饋能不能被驗證——「這條醫囑缺劑量單位」會真的被補上;「寫得不夠完整」換來的是更多防禦性書寫。
🔑 論文的設計規則只有一句:能驗證的上司值回票價,只能發表意見的上司是負債。重做應該由驗證器旗標觸發,不是由主管對品質的主觀判斷觸發。
👉 迴圈沒有讓代理想得更差,是讓它更不敢把話說死。這件事對 AI 團隊成立——我很懷疑它對人類團隊不成立。
📄 arXiv:2609.14767|Agachan, van Duijn & Zohrehvand|Leiden University
#AIAgent #MultiAgent #LLM #組織設計 #品質管理

只會發表意見的上司
一個只改動一條線的實驗,讓多代理 AI 系統的階層預設值失效了
現在幾乎所有正式上線的多代理 LLM 框架,預設長成同一個樣子:一個管理者代理坐在工人代理上面,審查產出,不滿意就打回重做。這個設計從來沒有人認真質疑過——因為它太像我們熟悉的組織,看起來理所當然。
萊頓大學的三位研究者做了一件很乾淨的事:把五個代理的角色、提示詞、工具、模型池、資料,全部固定住,只改動一條線——管理者能不能拒絕產出並強制重寫。然後跑 43 對配對實驗,86 次執行,用五個模型組成的評審團加上一套確定性的規格檢查來評分。
結果是:扁平結構贏了。而且輸的地方,恰好在管理者實際動用權限的那些次。
一、只改一條線
差異被壓縮到提示詞裡的一句話。扁平式管理者被告知:「你沒有權限拒絕工作或強迫任何工人重做。」階層式管理者被告知:「如果目前產出有問題,你有絕對權限強制打回。」
任務是根據 Amazon 上 43 款搭載 RTX 4060 的遊戲筆電,用產品規格與顧客評論寫商業智慧報告。這個任務有一半可以驗證(報告寫的硬體規格能對照原始頁面),另一半不能(策略分析沒有標準答案)。
二、結果:古典預測失敗
組織理論的古典預測是:權威能加速收斂、提高決策的解析度,所以階層式應該寫得更清楚。另一派來自 LLM 研究的預測相反:RLHF 訓練出的模型面對權威式批評會阿諛順從(sycophancy),在反覆批評下會失去發散思考(Degeneration-of-Thought),所以階層式會更糟。
兩個預測不相容。實驗讓資料來裁決。
| 指標 | 扁平式 | 階層式 | 效應量 d | p |
|---|---|---|---|---|
| 實用性 Utility | 4.715 | 4.621 | 0.42 | 0.009 |
| 寫作清晰度 | 4.454 | 4.360 | 0.34 | 0.030 |
| 規格準確度 | 4.520 | 4.543 | −0.05 | 0.764 |
| Token 消耗 | 49,370 | 74,781 | 階層式多 51.5% | |
| 耗時 | 210 秒 | 282 秒 | 階層式慢 34.3% | |
扁平式在 43 款產品中的 28 款拿下較高總分(階層式 14 款、1 款平手)。整場實驗的 API 費用是 47.71 美元,跑了大約 5.9 小時。
再往下拆一層,差距的位置很集中。清晰度的差異完全由「精簡度」帶動(4.18 對 3.98),結構與連貫性兩項沒有差別;實用性的差異則由「策略深度」帶動(4.70 對 4.56),而且是六項細分指標中唯一通過多重比較校正的。
三、差距不是來自階層,是來自迴圈
這是整篇論文設計最漂亮的地方。管理者雖然握有權限,但它其實只在 43 次執行裡動用了 32 次——11 次完全沒打回,12 次打回一次,17 次打回兩次,另有 3 次想打第三次被上限擋住。
研究者因此可以把「有沒有這條權威鏈」和「權威鏈有沒有被實際行使」分開來看。三個角度都指向同一個答案。
第一,劑量反應。清晰度隨打回次數單調下降,控制變項後每多一次打回約掉 0.14 分。
第二,零打回的那 11 對。管理者從沒介入的那些配對裡,階層式報告在三項指標上數值反而略高(雖然 n=11 不顯著)。一條從未被行使的權威鏈,沒有造成任何可測量的傷害。
第三,也是最乾淨的一個。研究者把階層式執行紀錄裡的每一份撰寫者草稿都抽出來(共 77 份)。結果:在管理者介入之前,階層式的第一稿和扁平式的成品在每一項文字指標上都無法區分——對沖密度、詞彙多樣性、長度,全部一樣。
四、被打回的時候,代理做了什麼
這一節的證據完全不依賴評審模型,是用確定性的文字指標算出來的。
對沖用語就是「可能」「或許」「建議」「似乎」這類詞。階層式報告的對沖密度比同一款產品的扁平式報告高 53%,而且是分散在整組詞彙上,不是某一個詞被濫用。
但最終報告的長度是一樣的(平均 1036 對 1046 字,p=0.76)——階層式多消耗的那 51.5% token 全部花在管線內部的來回,不是花在報告上。把長度當成共變數再跑一次,所有效應原封不動。
作者對機制的判定很克制:這符合阿諛順從,但不符合 Degeneration-of-Thought 的強版本。沒有漸進漂移,沒有詞彙崩壞,沒有內容退化。原文那句話值得抄下來:
迴圈並沒有讓代理想得更差。它是讓代理更不願意把話說死。
五、唯一可以驗證的地方,根本沒東西可以修
這篇還有一個容易被跳過、但其實很鋒利的發現。
規格準確度是整個任務裡唯一有客觀答案的部分——報告寫的 GPU、記憶體、CPU、儲存容量,可以直接跟原始商品頁比對。兩種結構在這一項上完全沒有差異。
研究者後來發現原本的計分程式其實在測雜訊(把顯卡記憶體誤判成系統記憶體之類),於是重建了一套嚴格的指標。修好之後的結果是:兩組都在天花板。扁平式的精確率與召回率都是 1.000,階層式是 0.997;86 份報告裡只有一個錯誤,是某份階層式報告寫了一個商品頁上沒有的 CPU 型號。
所以那個「沒有差異」不是沒測出來,而是那個部分本來就沒有東西需要管理者去修。而在沒有客觀答案的那一半,管理者的介入只帶來傷害。
六、換到醫院裡,是同一件事
做品質管理的人對這個結構應該很熟悉:一份文件被退回,然後回來的版本變長了、語氣變軟了、該說死的地方變成「建議考慮」。
差別在回饋能不能被驗證。「這條醫囑缺少劑量單位」是可驗證的,退回去會真的被補上;「這份紀錄寫得不夠完整」不可驗證,退回去往往換來更多防禦性書寫——更多的保留語、更多的「必要時」、更多看起來謹慎其實沒有承諾的句子。寫的人不是不用心,是在一個無法驗證的批評面前,把話說軟是唯一安全的回應。
這篇論文的貢獻,是在一個沒有情緒、沒有升遷、沒有任何制裁的系統裡,把這個現象乾淨地複製了出來。代理不怕主管,它只是被訓練成會順從權威語氣——而結果和人類職場裡的忖度長得一模一樣。
七、這篇論文的誠實之處
值得單獨寫一節,因為它處理自身弱點的方式比結論本身更值得學。
五個評審模型之間的絕對一致性很低——Krippendorff’s α 在清晰度只有 0.08 到 0.17,實用性 0.22 到 0.30,主要是 GPT-5.4 給分特別嚴苛。配對設計需要的是方向一致而非刻度一致,而方向一致確實存在。但作者接著做了逐一剔除評審的重估:
- 實用性是穩健的:五個評審全部單獨偏向扁平式,剔除任何一個,p 值都還在 0.016 以下。
- 清晰度是脆弱的:由三個評審撐著,GPT-5.4 反而偏向階層式;換成無母數檢定是 p=0.051,卡在邊界。
所以作者明講:以實用性與策略深度作為主結果,清晰度的效應「方向是真的,顯著性是脆弱的」。而第四節那些機制證據完全不經過評審模型,這也是為什麼它才是全篇最硬的部分。
其他限制同樣寫得清楚:單一短上下文任務、單一產品領域、單一管理者提示詞、43 對樣本、評審模型本身共享 RLHF 偏好,可能一起懲罰一種人類未必討厭的風格。作者沒有把設計規則外推到長上下文、程式碼生成,或有強驗證器的任務。
八、所以該怎麼設計
論文給的規則只有一句,但很好記:
能驗證的上司值回票價;只能發表意見的上司是負債。
具體的三條建議:短上下文的合成任務,扁平式循序管線應該當成預設;如果需要管理者負責拆解與路由,就別給它打回權限;重做應該由驗證器旗標觸發,而不是由管理者對品質的主觀判斷觸發。
古典組織理論假設下屬面對權威會修正信念。人類作者確實會因為評價他的讀者而調整,而語言模型調整的方式是——把話說軟。在一個可以被驗證的世界裡,權威能把事情推向正確;在一個無法被驗證的世界裡,權威只能把話推向安全。這對 AI 團隊成立,我很懷疑它對人類團隊不成立。
資料來源:Agachan B, van Duijn M, Zohrehvand A. Loop-Back Authority in LLM Agent Teams: A Paired Experiment on Flat and Hierarchical Coordination. arXiv:2609.14767 [cs.MA],2026 年 9 月 13 日。本文所引數字均取自該預印本正文,包含作者自述的判者信度與研究限制。插圖為內嵌 SVG,屬示意性質,非原始論文圖表。