從「猜下一個字」到「猜下一個概念」:語言模型的下一步
新研究 NCP-ArchPreview 讓語言模型不只預測下一個字,還同時學習預測跨越多個字的「概念」,用一半訓練量就打平、甚至超越同級模型的表現。
· 閱讀時間約 3 分鐘10
53 篇文章
新研究 NCP-ArchPreview 讓語言模型不只預測下一個字,還同時學習預測跨越多個字的「概念」,用一半訓練量就打平、甚至超越同級模型的表現。
Cognition 發布新一代 coding agent 模型 SWE-2，同時新論文重新定義評測標準。本文用「招募新工程師」比喻，拆解分數上升是否代表真正進步。
多數人以為 Agent 強弱看模型大小，但真正拉開差距的常是包住模型的「harness」——記憶、規劃、工具邏輯的組合。JIT-Agent 讓這套邏輯自己現場生成、自我修復、持續進化。
便宜又夠快的小模型正悄悄變強，讓 AI 產品第一次能打平消費級的價格帶。從「IQ180 天才」與「線廚」的類比出發，聊聊為什麼下一波 AI 紅利可能不在更聰明的模型，而在更便宜的模型。
多數機器人 Agent 只能等任務結束才反省失敗，Zetta 提出三層即時迴路，讓 AI 在動作進行的當下就修正錯誤，成功率達 9 成以上，推論速度快 11 倍。
Agent Skills 讓 LLM 讀操作手冊變聰明，但一篇論文用 8,135 筆實驗紀錄告訴我們：它真正的作用不是餵知識，而是穩定行為——而且技能池一大，效果就會崩壞。
AREX 是一個能遞迴自我改進的 AI 研究代理，它不只執行深度研究任務，還會反思自身的執行策略並持續優化。本文用「鏡中鏡」類比，帶你拆解這個架構的運作原理與深遠意義。
模型多試幾次幾乎能解決任何問題，真正的瓶頸是：如何從眾多候選答案中選出最好的那個？LLM-as-a-Verifier 將「驗證」定義為新的擴展軸，用機率化 logit 分佈取代粗糙整數評分，無需額外訓練即可刷新程式碼、機器人、醫療等多項頂尖基準。
每次呼叫 LLM API 都在花錢、等待、還怕模型更新壞掉？Program-as-Weights 提出新思路：把需求「編譯」成 23MB 的神經網路權重，之後全在本地跑，效果竟然比 50 倍大的模型還好。
長期任務讓 LLM Agent 陷入記憶困境，根本原因不是上下文不夠，而是無法有效管理過多資訊。本文從 AgenticSTS 有界記憶框架出發，解析為什麼強迫 Agent 主動選擇「記什麼、忘什麼」，反而能讓長期任務走得更穩。