驗證即擴展：LLM-as-a-Verifier 如何讓 AI 學會找出最好的答案

一個有趣的矛盾

試想一下：你讓一百個學生同時寫一道數學題，每人只能作答一次，答對機率是 70%。但如果讓每個人寫十次，然後從中挑出最好的那份——理論上成功率可以逼近 99%。

這不是假設。Stanford、UC Berkeley 與 NVIDIA 的研究人員在 Terminal-Bench V2 基準測試上，實際量測到：把多個不同 AI Agent 的解答全部拿來比較，假設有個萬能的裁判能選出最好的，成功率高達 98.9%。

能力其實早就在那裡了。缺的，是一個能可靠辨別「哪個答案更好」的機制。這個機制有個正式的名字：驗證（Verification）。

傳統評分方式的盲點

目前最常見的做法是「LM Judge」：把一個語言模型當裁判，讓它對兩個答案各打一個整數分（比如 1 到 5 分），然後選分數高的。

這聽起來合理，但有個隱藏缺陷。

想像裁判是個懶散的記分員。你給他兩份答卷，兩份都答得「還不錯」，他看了一眼，都打了 4 分——然後聳聳肩說「平局，猜一個吧」。這不是比喻，是真實情況。傳統 LM Judge 在 Terminal-Bench 上造成高達 27% 的平局率。平局的本質是驗證器放棄了辨別，只能靠隨機打破僵局。

另一種做法是訓練特化的 Reward Model，但它需要大量人工標注資料，而且往往只在訓練分佈上表現好，換個領域就失準。程式碼任務訓出來的驗證器，拿去評機器人動作，就很難適用。

核心突破：把分數從整數變成機率分佈

LLM-as-a-Verifier 的核心洞見很精妙：語言模型在生成評分時，對每個可能分數都有一個機率，這個完整的機率分佈比最終的單一整數更有價值。

傳統做法相當於：問模型「你覺得這份答案幾分？」，然後只記下它說出口的那個數字，忽略它心裡的猶豫。

新做法是：直接讀取模型對所有評分 token 的 logit（原始機率），再加權平均成一個連續分數。

用一個具體比喻：手機信號格。傳統方法就像手機螢幕只顯示「幾格信號」——你知道大概強不強，但無法區分同是四格的兩個地點哪個更穩定。LLM-as-a-Verifier 相當於直接讀取 -72 dBm 和 -79 dBm 這種原始數值，辨別力完全不同層次。

形式上，評分公式是：

R(x, τ) = Σ p(v_g | x, c, τ) × φ(v_g)

其中 v_g 是每個評分 token（例如 1 到 20），p(·) 是模型給該 token 的機率，φ(·) 是對應的數值。把這些加權相加，就得到一個連續分數，不再受限於整數格點。

三個可以獨立調節的擴展旋鈕

連續分數打開了三個可以單獨調整的擴展維度，論文稱之為「驗證擴展（Verification Scaling）」：

① 評分粒度（Score Granularity）

評分範圍從 1–1 擴展到 1–20。更多的 token 讓模型能把內部的微小偏好投影到更細的量尺上，就像尺子從只有公分刻度換成有毫米刻度。實驗數字：粒度 G=1 時驗證準確率 73.1%，G=20 時提升到 77.5%。

② 重複評估（Repeated Evaluation）

單次評判有隨機噪音，也可能受提示中答案位置（放在 A 還是 B）影響而有系統性偏見。重複 K 次、取平均，可以把這些偏差消掉。實驗數字：K=1 時準確率 74.7%，K=16 時提升到 77.4%。

③ 標準分解（Criteria Decomposition）

把「整體品質」拆解成多個維度——例如評程式碼時分成「正確性」、「效率」、「邊界情況處理」三個標準分別評分——再聚合，能捕捉到整體評分遺漏的互補資訊。三個標準組合後達 78.3%，比任一單一標準高出約 2%。

這三個軸是互補的，可以根據成本預算自由組合，類似三個獨立的音量旋鈕。

比賽式選優：Probabilistic Pivot Tournament

有了連續分數，下一個問題是效率：如果要從 20 個候選答案中選出最佳，暴力兩兩對比需要 O(N²) 次評估，成本太高。

論文提出了 Probabilistic Pivot Tournament（PPT），把成本壓到 O(Nk²)，k 是樞紐數量，遠小於 N。演算法分三步驟，有點像運動賽事的賽制設計：

1. 環狀初賽：讓所有候選按隨機順序排成一個環，相鄰兩兩比對。每個候選恰好擔任「A 位」和「B 位」各一次，消除模型對回答位置的偏見，得到初步排名。
2. 選出樞紐：從初賽表現最好的前 k 名，晉升為「樞紐」。
3. 樞紐對決：其餘候選只需跟這 k 個樞紐比對，加上樞紐彼此之間的決戰，最後依勝率正規化（除以參賽次數）選出冠軍。

這個設計讓評估預算集中在「有競爭的頂尖候選之間」，而不是浪費在顯然弱的答案上。

結果：跨領域全面刷新 SOTA

LLM-as-a-Verifier 在不需要額外訓練的情況下，在四個截然不同領域的基準同時拿下最高分：

此外，連續驗證分數還能作為強化學習的稠密獎勵信號（Dense Reward），在機器人操作任務上提升約 1.8 倍樣本效率，在數學推理任務上提升 1.1 倍。

延伸思考

這篇論文提出的命題，比技術細節更值得深思：驗證能力本身，是可以擴展的。

過去幾年，AI 能力進步的主軸是更多資料、更大模型、更長的推理鏈。這篇研究說：還有另一條路——與其讓模型「第一次就答對」，不如讓它「多試幾次，然後選最好的」。而要走這條路，驗證器的品質是關鍵瓶頸。

這引出一個有趣的資源分配問題：給定固定的計算預算，把更多資源投入「多生成幾個答案」和「更精準地選答案」，哪條路的邊際報酬更高？答案可能因任務類型而異——在創意寫作和程式碼 debug 上，可能有截然不同的最優組合。

另一個值得觀察的方向：本文方法依賴能取得 logit 的模型。隨著 frontier model 越來越多轉向封閉 API，這個技術路線的適用範圍可能受限——或者反過來，這會成為開源模型的一項獨特競爭優勢。