別等失敗才反省：Zetta 如何讓機器人「邊做邊學」

一個開車學習的類比

想像你在學開車，教練坐在副駕駛座。

有一種教練，全程不出聲，等你把車開回駕訓班、下車之後，才拿出行車記錄器，從頭到尾檢討你哪裡打錯方向盤、哪裡煞車太晚。這種「事後檢討」當然有用，但如果你在路上真的快撞到護欄，這種教練幫不上忙——他只能眼睜睜看著，等結束才說「剛剛那裡不對」。

另一種教練，會在你打滑的瞬間立刻喊「回正」，在你煞車太晚時立刻踩副駕駛座的輔助煞車，同時心裡默默記下「這學生每次遇到窄巷都會緊張」，等到今天的課結束，才跟你討論長期該加強哪個技巧。

現在多數的「具身智能」（Embodied AI，也就是控制實體機器人的 AI Agent）比較像第一種教練：先照著固定的技能腳本執行一整段任務（這叫 rollout），等任務結束了才回頭反省、調整策略。問題是，機器人手臂在抓取物體、行走避障的當下，環境每一毫秒都在變化，等到「事後」才反省，早就來不及了。

Zetta 想解決的問題

這正是一篇來自研究團隊的論文《Zetta ζ》要解決的問題。研究團隊指出，現有的 Agent 執行框架（harness）大多是「開迴路」（open-loop）：Agent 決定好一串固定技能後就照表操課，只有等一個 episode（一段完整任務）跑完，才會做「事後反思」（post-hoc reflection）。但物理世界的互動需要用遠高於現在大型 Agent 模型反應速度的頻率，去追蹤機器人與環境之間快速變化的狀態——單純的事後反省，根本管不到「正在發生」的執行過程。

解法：把「反射」「戰術」「戰略」拆成三層迴路

Zetta 的核心設計，是把學習拆成三個「時間尺度分離」（timescale-separated）的閉迴路，同時讓底層的基礎策略模型（base policy）維持凍結、不動它：

1. 動作頻率治理（Action-frequency governance）——最快的一層，像人的膝反射，逐動作即時把關，避免明顯錯誤發生。
2. Rollout 層級的 critic-recovery 提案——中速的一層，像開車途中臨場的戰術調整：一段任務跑到一半時，系統會生成程式碼形式的「評論者」（runtime critic）與「補救技能」（recovery skill），即時修正走偏的執行路徑。
3. 驗證閘門式的技能更新（Validation-gated skill updates）——最慢的一層，像賽季結束後的技能總複習：新學到的補救技能要先通過驗證，才會正式併入技能庫，避免把僥倖成功的爛招也學進去。

搭配的基礎設施 Z-Infra，則負責把「Agent 的決策邏輯」和「底層各種不同的機器人執行資源」解耦，讓這套多層迴路可以套用在不同硬體上而不用重寫。

成果數字

論文報告在兩個機器人操作 benchmark 上的結果：LIBERO-Pro 成功率達到 90.8%，RoboCasa 達到 93.6%，同時推論速度比對照方法快了 11.1 倍。更值得注意的是，隨著機器人「自我探索」（self-exploration）的經驗累積，成功率會持續往上爬；學到的技能也能「零樣本」（zero-shot）遷移到沒訓練過的新任務上；研究者甚至觀察到機器人出現清楚的「頓悟時刻」（Aha Moments）——某個補救技能一旦學會，後續類似情境的表現會突然跳一個台階。

延伸思考：這對非機器人的 AI Agent 有什麼啟發？

Zetta 談的雖然是機器人，但「開迴路 vs. 閉迴路」的問題，其實也在寫程式的 AI Agent 身上發生。今天很多 Coding Agent 的運作方式，也是先寫完一大段程式碼，再去跑測試、看結果，才「事後」回頭修——這跟 Zetta 論文批評的舊式 embodied harness，邏輯上如出一轍。

Zetta 的三層迴路設計，或許提供了一個可以借鏡的模式：把「即時語法檢查」當成最快的反射層、把「單元測試」當成中速的戰術修正層、把「架構重構的決策」當成最慢、需要驗證閘門把關的戰略層。與其問「要不要讓 Agent 自我反思」，更精確的問法應該是「這個反思該發生在哪一個時間尺度」。這或許才是讓 AI Agent 從「會做事」進化到「邊做邊變聰明」的關鍵。