AI Agent 的「操作手冊」為什麼有時會失靈？拆解 Agent Skills 的成功與失敗模式

手冊之於新人，Skills 之於 Agent

想像你剛到新公司上班，主管給你一份操作手冊，教你怎麼報帳、怎麼寫周報、客訴要走哪個流程。手冊不會告訴你不知道的事實——你早知道公司叫什麼、產品是什麼——它只是把該怎麼做的步驟寫清楚，讓你照著做就不會搞砸。

這正是 2026 年 8 月一篇加州大學聖地牙哥分校團隊的論文〈Demystifying Agent Skills: Why They Work—Until They Don't〉想搞清楚的事。這篇論文在 Hugging Face Papers 拿下當週最高 137 個讚，主題是這波 AI Agent 熱潮最紅的詞之一：Skills（技能包）。用過 Claude 或其他支援 Skills 機制的 Agent 框架都不陌生：與其把規則全塞進系統提示詞，不如把知識、流程、範例打包成獨立檔案，讓 Agent 需要時才動態載入。這篇論文不只問「Skills 有沒有讓任務成功率變高」，而是深入拆解它到底何時有效、為何有效、又在哪裡失效。

Skills 不是餵知識，是穩定動作

研究團隊蒐集了 8,135 筆實驗紀錄，橫跨不同 benchmark、不同 Agent Harness、不同 LLM，人工標註出 238 個有效案例，整理成三大類、十二種使用模式的分類法。結論打臉直覺：多數人以為 Skills 有效是因為補足了模型不知道的知識，像考前抱佛腳。但實際上 65.7% 的有效案例屬於「程序錨定」（procedural anchoring）——Skills 的作用是把原本東飄西移、充滿雜訊的執行軌跡，錨定在穩定的操作路徑上；真正屬於補充事實知識的案例只有 4.5%。

換句話說，Skills 更像新人手冊：不是告訴你新知識，而是告訴你照這個順序做就不會出錯。這也解釋了為何 Skills 比常見的「Workflow Memory」平均高出 6.06 分——Workflow Memory 記錄的是發生過什麼，Skills 提供的則是該怎麼做的穩定範本，對容易在多步驟任務中迷路的 Agent 更有安定作用。

檢索是隱藏地雷：技能越多反而越不準

那是不是該建一個龐大技能庫，什麼都準備好？論文給了警告：檢索是完全獨立的瓶頸。當候選技能池從 5 個擴大到 100 個，就像小圖書館變成大型圖書館，該找的手冊反而更難被準確找到——實際被正確使用的精確率從 29.6% 崩到 3.3%。池子越大，Agent 越容易抓錯 Skill，效果不進反退。更反直覺的是：即使離線測試時 Agent 難以分辨相近選項，下游任務的最終成功率卻沒明顯下降。精準命中「標準答案」技能，既非成功的充分條件，也非必要條件——比起追求檢索完美命中率，或許更該關注 Skills 內容設計夠不夠泛用穩健。

Skills 什麼時候會失靈？

論文也整理出三種失敗情境：脆弱假設——技能寫死在特定情境，環境一變（例如 API 更新、UI 改版）就直接卡死；框架不相容——技能在某個 Agent Harness 驗證有效，換框架、換工具集就完全用不上；適應不足——技能是通用範本，任務需要細緻客製化時，機械式套用反而會錯過真正需求。

延伸思考

這篇論文的價值不在證明 Skills 有用，而是把「有用」拆解成精確的因果鏈。對正在設計 Agent 系統的人，啟發很具體：寫 Skills 時別只想著塞知識，多想怎麼把容易出錯的步驟寫成不會岔路的路徑；技能庫不是越大越好，該定期做技能瘦身，淘汰重疊、混淆度高的項目；與其執著檢索命中率，不如投資技能內容本身的容錯性——選錯技能不代表任務會失敗，把每個 Skill 寫得夠泛用穩健，可能比打造更精準的檢索演算法更划算。

技能包看似是這波 Agent 工程的顯學，但這篇論文提醒我們：真正決定 Skills 能不能發揮作用的，從來不是有沒有，而是怎麼設計、放在多大的池子裡。下次 Agent 開始亂用技能、或視而不見明明相關的 Skill，問題或許不在模型不夠聰明，而在技能庫已悄悄變成一座讓人迷路的大型圖書館。