跳到主要內容

Agent 的自制力:為什麼 AI 代理需要懂得「不動手」

閱讀時間約 7 分鐘

你不會叫不確定的人去做手術

想像你僱了一個能力強大的助手:會寫程式、會發郵件、能操作你的資料庫。 但他有個致命問題——每次遇到不確定,他寧願猜測後硬做,也不會說「我不確定,要先問你嗎?」

結果?他刪了你的設定檔、送出了未準備好的郵件、更動了你不想碰的資料。

這正是今日 AI Agent 最大的盲點:行動能力遠超過自我察覺能力。

來自華盛頓大學最新研究《Agentic Abstention: Do Agents Know When to Stop Instead of Act?》正是在探討這個核心問題:當 Agent 面對不確定、不完整或高風險的狀況時,它知道要「停下來」嗎?


什麼是 Agentic Abstention?

Abstention,原意是「棄權、克制」。

在 AI Agent 的脈絡下,Agentic Abstention 指的是:當 Agent 判斷自己沒有足夠把握完成任務時,選擇暫停並回報,而非勉強行動。

一個優秀的人類助理天然懂得這件事:

  • 不確定主管意圖時,先問清楚再動手
  • 遇到超出授權範圍的事,主動升級回報
  • 任務條件不足時,說「我需要更多資訊才能繼續」

但現在絕大多數 AI Agent 的設計邏輯是:儘可能完成任務。

這在大多數情況下很好——但在某些情境下會變成災難:

情境問題
模糊指令「幫我整理一下這個資料夾」——刪重複?改名?歸類?
部分資訊「用剛才說的 API 傳資料」——Agent 根本沒有「剛才」的記憶
高風險操作涉及刪除、付款、傳送,錯了難以回復
超出能力邊界任務要求 Agent 做它本質上不擅長的事

研究發現:現在的 Agent 幾乎不會主動停手

研究測試了多個主流 LLM 在 Agent 情境下的棄權行為,結果令人憂慮:

大部分模型在遇到不確定時,仍然傾向「行動」而非「暫停確認」。

就像剛入職的員工,怕被認為沒能力,寧願猜測後硬做,也不願意承認不確定——但在企業環境,硬做錯的代價遠高於問清楚再做。

研究測試的情境包括:

  • 給出模糊的任務指令,看 Agent 是否主動要求澄清
  • 故意給出不完整的工具存取權限,看 Agent 是否繼續蠻幹
  • 提供互相矛盾的上下文,看 Agent 是否辨識出矛盾

Agent 在以下條件下特別不善於棄權:

  • 任務看起來「可以完成」,但中間隱含錯誤假設
  • 工具回傳的錯誤訊號不夠明顯
  • System Prompt 強調「儘量完成任務」的口吻

為什麼棄權這麼難?三個核心能力缺口

從技術角度看,Agentic Abstention 需要 Agent 具備三種能力:

1. 元認知(Meta-cognition)

Agent 需要知道「自己知道什麼」,更重要的是「自己不知道什麼」。

這比回答問題難得多——你得先評估自己的確信程度,再決定是否行動。

語言模型的訓練目標通常是「給出答案」,而非「判斷自己有沒有資格給答案」。這就像考試只要有答案就給分,久而久之模型學會的是亂猜,而不是誠實面對不確定。

2. 風險感知

並非所有不確定都值得棄權。打錯一個字和誤刪一個資料庫的風險天差地別。

Agent 需要根據操作的可回復性與錯誤代價來動態調整謹慎程度。低風險的事可以試試看,高風險的事則應該先確認再動手。

3. 有效的暫停與溝通

棄權不是什麼都不做——而是有意義的暫停。

好的 Abstention 應該包含:

停止理由:「指令 X 與現有條件 Y 矛盾,我無法確認應保留哪個」
需要資訊:「請問刪除前是否需要備份?」
替代方案:「我可以先執行步驟 A,等你確認後再繼續步驟 B」

類比:十字路口的「讓」字

台灣某些路口有「讓」的標示——不是紅燈,也不是綠燈,而是「讓有優先權的車先走,再通過」。

這是一種主動的謙讓,而不是被動的等待。

好的 AI Agent 需要同樣的機制:遇到不確定的「路口」,先讓——等待確認、補充資訊——而不是強行衝過去。

現在的 Agent 大多被設計成「遇到路口就衝」,在直線路段很快,但在複雜交叉口就危險了。


實作方向:如何讓 Agent 學會停手?

目前業界有幾個主流方向:

① System Prompt 工程

在 Agent 的系統提示中明確定義「何時應停止」:

遇到以下情境,請停止並詢問:
- 涉及不可逆操作(刪除、傳送、付款)
- 指令含模糊詞彙(「適當的」、「一些」、「最近」)
- 工具呼叫連續失敗超過兩次

② Checkpoint 機制

將長任務切成小階段,每個 Checkpoint 讓 Agent 回報狀態並等待確認,而不是一路衝到底。這讓人類得以在早期攔截錯誤方向。

③ 信心分數輸出

讓 Agent 在規劃每個步驟時同時輸出信心評估,低於門檻的步驟自動觸發人工確認流程。

④ 強化學習反饋

在訓練時加入「不確定卻硬做後出錯」的懲罰案例,讓模型學會:在不確定時停下來是值得鼓勵的行為,而非軟弱的表現。


延伸思考:能夠棄權,本身就是一種能力

這裡有個有趣的悖論:正確判斷「何時該棄權」,本身就需要相當的能力。

一個對某領域完全不了解的人,連「自己不知道什麼」都說不清楚——他不知道自己不知道(這正是 Dunning-Kruger 效應的核心)。

同理,能力不足的 Agent,往往也無法準確判斷自己是否有足夠能力完成任務。

這意味著:Abstention 能力和任務執行能力是同步成長的。更聰明的模型,不一定更保守,但應該要更「校準」——在真正不確定時停下來,在真正有把握時勇敢行動。

自制力,來自真正的自我認識。

這不只是 AI 需要學的課。


本文基於 2026 年 HuggingFace 熱門論文《Agentic Abstention: Do Agents Know When to Stop Instead of Act?》(University of Washington)撰寫,加入作者的詮釋與延伸分析。

回應

0 / 1000

還沒有回應,成為第一個留言的人吧。