Transformer 為什麼只追得動兩三行？一個 6.5 萬參數的 LoRA 讓中間層接力
預訓練模型預設只能追 2 到 3 行變數參照，但在單一層加上極小的 LoRA 就能讓凍結的中間層接力，追到數十行。
· 閱讀時間約 5 分鐘00
31 篇結果
標籤 #LLM
預訓練模型預設只能追 2 到 3 行變數參照，但在單一層加上極小的 LoRA 就能讓凍結的中間層接力，追到數十行。
OLIVE 讓學生模型先寫一段，再由老師模型從學生走到的地方接手示範，只學老師寫的文字；在學生容易早早走偏的推理與 Agent 任務上，比整段打分數的線上蒸餾更有效，也更少遺忘。
Ember-1 以 Kimi K3 為底，透過任務回饋訓練刪掉不必要的思考，官方測得約少用四成 token、品質相當；關鍵在多輪 Agent 裡，冗長推理會被每一輪重讀計費。
把選項編成 A、B、C，只讀模型下一個字的機率，就是 25 行版的 Jev。一行行走過程式，看懂 logits 分類怎麼運作，也看清它漏掉的校準難題。
新研究 NCP-ArchPreview 讓語言模型不只預測下一個字,還同時學習預測跨越多個字的「概念」,用一半訓練量就打平、甚至超越同級模型的表現。
Cognition 發布新一代 coding agent 模型 SWE-2，同時新論文重新定義評測標準。本文用「招募新工程師」比喻，拆解分數上升是否代表真正進步。
多數人以為 Agent 強弱看模型大小，但真正拉開差距的常是包住模型的「harness」——記憶、規劃、工具邏輯的組合。JIT-Agent 讓這套邏輯自己現場生成、自我修復、持續進化。
便宜又夠快的小模型正悄悄變強，讓 AI 產品第一次能打平消費級的價格帶。從「IQ180 天才」與「線廚」的類比出發，聊聊為什麼下一波 AI 紅利可能不在更聰明的模型，而在更便宜的模型。
模型多試幾次幾乎能解決任何問題，真正的瓶頸是：如何從眾多候選答案中選出最好的那個？LLM-as-a-Verifier 將「驗證」定義為新的擴展軸，用機率化 logit 分佈取代粗糙整數評分，無需額外訓練即可刷新程式碼、機器人、醫療等多項頂尖基準。
每次呼叫 LLM API 都在花錢、等待、還怕模型更新壞掉？Program-as-Weights 提出新思路：把需求「編譯」成 23MB 的神經網路權重，之後全在本地跑，效果竟然比 50 倍大的模型還好。