Transformer 為什麼只追得動兩三行？一個 6.5 萬參數的 LoRA 讓中間層接力
預訓練模型預設只能追 2 到 3 行變數參照，但在單一層加上極小的 LoRA 就能讓凍結的中間層接力，追到數十行。
· 閱讀時間約 5 分鐘00
7 篇結果
標籤 #模型訓練
預訓練模型預設只能追 2 到 3 行變數參照，但在單一層加上極小的 LoRA 就能讓凍結的中間層接力，追到數十行。
OLIVE 讓學生模型先寫一段，再由老師模型從學生走到的地方接手示範，只學老師寫的文字；在學生容易早早走偏的推理與 Agent 任務上，比整段打分數的線上蒸餾更有效，也更少遺忘。
Ember-1 以 Kimi K3 為底，透過任務回饋訓練刪掉不必要的思考，官方測得約少用四成 token、品質相當；關鍵在多輪 Agent 裡，冗長推理會被每一輪重讀計費。
DeepSeek 的 DSec 用 160 台主機同時跑 38 萬個 Agent 沙箱，靠的是映像檔按需載入、分級超賣，並把 Agent 迴圈搬離 GPU 叢集。
新研究 NCP-ArchPreview 讓語言模型不只預測下一個字,還同時學習預測跨越多個字的「概念」,用一半訓練量就打平、甚至超越同級模型的表現。
每次呼叫 LLM API 都在花錢、等待、還怕模型更新壞掉？Program-as-Weights 提出新思路：把需求「編譯」成 23MB 的神經網路權重，之後全在本地跑，效果竟然比 50 倍大的模型還好。
讓小模型繼承大模型的「智慧」，而不只是複製它的「答案」。