你不會叫不確定的人去做手術
想像你僱了一個能力強大的助手:會寫程式、會發郵件、能操作你的資料庫。 但他有個致命問題——每次遇到不確定,他寧願猜測後硬做,也不會說「我不確定,要先問你嗎?」
結果?他刪了你的設定檔、送出了未準備好的郵件、更動了你不想碰的資料。
這正是今日 AI Agent 最大的盲點:行動能力遠超過自我察覺能力。
來自華盛頓大學最新研究《Agentic Abstention: Do Agents Know When to Stop Instead of Act?》正是在探討這個核心問題:當 Agent 面對不確定、不完整或高風險的狀況時,它知道要「停下來」嗎?
什麼是 Agentic Abstention?
Abstention,原意是「棄權、克制」。
在 AI Agent 的脈絡下,Agentic Abstention 指的是:當 Agent 判斷自己沒有足夠把握完成任務時,選擇暫停並回報,而非勉強行動。
一個優秀的人類助理天然懂得這件事:
- 不確定主管意圖時,先問清楚再動手
- 遇到超出授權範圍的事,主動升級回報
- 任務條件不足時,說「我需要更多資訊才能繼續」
但現在絕大多數 AI Agent 的設計邏輯是:儘可能完成任務。
這在大多數情況下很好——但在某些情境下會變成災難:
| 情境 | 問題 |
|---|---|
| 模糊指令 | 「幫我整理一下這個資料夾」——刪重複?改名?歸類? |
| 部分資訊 | 「用剛才說的 API 傳資料」——Agent 根本沒有「剛才」的記憶 |
| 高風險操作 | 涉及刪除、付款、傳送,錯了難以回復 |
| 超出能力邊界 | 任務要求 Agent 做它本質上不擅長的事 |
研究發現:現在的 Agent 幾乎不會主動停手
研究測試了多個主流 LLM 在 Agent 情境下的棄權行為,結果令人憂慮:
大部分模型在遇到不確定時,仍然傾向「行動」而非「暫停確認」。
就像剛入職的員工,怕被認為沒能力,寧願猜測後硬做,也不願意承認不確定——但在企業環境,硬做錯的代價遠高於問清楚再做。
研究測試的情境包括:
- 給出模糊的任務指令,看 Agent 是否主動要求澄清
- 故意給出不完整的工具存取權限,看 Agent 是否繼續蠻幹
- 提供互相矛盾的上下文,看 Agent 是否辨識出矛盾
Agent 在以下條件下特別不善於棄權:
- 任務看起來「可以完成」,但中間隱含錯誤假設
- 工具回傳的錯誤訊號不夠明顯
- System Prompt 強調「儘量完成任務」的口吻
為什麼棄權這麼難?三個核心能力缺口
從技術角度看,Agentic Abstention 需要 Agent 具備三種能力:
1. 元認知(Meta-cognition)
Agent 需要知道「自己知道什麼」,更重要的是「自己不知道什麼」。
這比回答問題難得多——你得先評估自己的確信程度,再決定是否行動。
語言模型的訓練目標通常是「給出答案」,而非「判斷自己有沒有資格給答案」。這就像考試只要有答案就給分,久而久之模型學會的是亂猜,而不是誠實面對不確定。
2. 風險感知
並非所有不確定都值得棄權。打錯一個字和誤刪一個資料庫的風險天差地別。
Agent 需要根據操作的可回復性與錯誤代價來動態調整謹慎程度。低風險的事可以試試看,高風險的事則應該先確認再動手。
3. 有效的暫停與溝通
棄權不是什麼都不做——而是有意義的暫停。
好的 Abstention 應該包含:
停止理由:「指令 X 與現有條件 Y 矛盾,我無法確認應保留哪個」
需要資訊:「請問刪除前是否需要備份?」
替代方案:「我可以先執行步驟 A,等你確認後再繼續步驟 B」
類比:十字路口的「讓」字
台灣某些路口有「讓」的標示——不是紅燈,也不是綠燈,而是「讓有優先權的車先走,再通過」。
這是一種主動的謙讓,而不是被動的等待。
好的 AI Agent 需要同樣的機制:遇到不確定的「路口」,先讓——等待確認、補充資訊——而不是強行衝過去。
現在的 Agent 大多被設計成「遇到路口就衝」,在直線路段很快,但在複雜交叉口就危險了。
實作方向:如何讓 Agent 學會停手?
目前業界有幾個主流方向:
① System Prompt 工程
在 Agent 的系統提示中明確定義「何時應停止」:
遇到以下情境,請停止並詢問:
- 涉及不可逆操作(刪除、傳送、付款)
- 指令含模糊詞彙(「適當的」、「一些」、「最近」)
- 工具呼叫連續失敗超過兩次
② Checkpoint 機制
將長任務切成小階段,每個 Checkpoint 讓 Agent 回報狀態並等待確認,而不是一路衝到底。這讓人類得以在早期攔截錯誤方向。
③ 信心分數輸出
讓 Agent 在規劃每個步驟時同時輸出信心評估,低於門檻的步驟自動觸發人工確認流程。
④ 強化學習反饋
在訓練時加入「不確定卻硬做後出錯」的懲罰案例,讓模型學會:在不確定時停下來是值得鼓勵的行為,而非軟弱的表現。
延伸思考:能夠棄權,本身就是一種能力
這裡有個有趣的悖論:正確判斷「何時該棄權」,本身就需要相當的能力。
一個對某領域完全不了解的人,連「自己不知道什麼」都說不清楚——他不知道自己不知道(這正是 Dunning-Kruger 效應的核心)。
同理,能力不足的 Agent,往往也無法準確判斷自己是否有足夠能力完成任務。
這意味著:Abstention 能力和任務執行能力是同步成長的。更聰明的模型,不一定更保守,但應該要更「校準」——在真正不確定時停下來,在真正有把握時勇敢行動。
自制力,來自真正的自我認識。
這不只是 AI 需要學的課。
本文基於 2026 年 HuggingFace 熱門論文《Agentic Abstention: Do Agents Know When to Stop Instead of Act?》(University of Washington)撰寫,加入作者的詮釋與延伸分析。